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人 工 智能 经 常 被 人 们 认为 是 计算 机 科学 中 一 门 高 度 复杂 甚至 令 人 生 嘻 的 学 科 。 长 期 以 来 人 工 智 能 
面 的 书籍 往往 包含 复杂 的 矩阵 代数 和 微分 方程 。 本 书 基于 作者 多 年 面向 微 积分 知识 甚 微 的 学 生 授课 时 所 
用 的 讲义 ， 假 定 读者 没有 编程 经 验 ， 以 简单 易 懂 的 方式 介绍 了 智能 系统 的 基础 知识 。 | 

本 书目 前 已 经 被 国际 上 多 所 大 学 ( 例如 ， 德 国 的 马 格 德 堡 大 学 、 日 本 的 广岛 大 学 、 美 国 的 波士顿 大 
学 和 罗切斯特 理工 学 院 等 ) 采纳 为 教材 。 

如 果 您 正在 寻找 关于 人 工 智 能 或 智能 系统 设计 课程 的 浅显 易 懂 的 入 门 级 教材 ， 如 果 您 不 是 计算 机 科 
学 领域 的 专业 人 员 而 又 正在 寻找 介绍 基于 知识 系统 最 新 技术 发 展 的 自学 指南 ， 本 书 将 是 您 的 最 佳 选 择 。 


本 书 的 主要 内 容 : 基于 规则 的 专家 系统 、 不 确定 性 管理 技术 、 模 糊 专家 系统 、 基 于 框架 的 专家 系统 、 
人 工 神经 网 络 、 进 化 计算 、 混 合 智 能 系统 、 知 识 工程 、 数 据 挖掘 。 


本 版 的 新 增 内 容 : 与 上 一 版 相 比 ， 本 版 进行 了 全 面 更 新 ， 以 反映 人 工 智能 领域 的 最 新 进展 。 其 中 新 增 
了 “数据 挖掘 与 知识 发 现 ” 一 章 和 “ 自 组 织 神经 网 络 ” 及 聚 类 相关 内 容 ， 同 时 补充 了 4 个 新 的 案例 研究 。 
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本 书 是 一 本 很 好 的 人 工 智能 入门 书籍 ， 内 容 丰 富 、 浅 显 易 懂 。 作 者 根据 自己 多 年 的 教学 、 
实践 经 验 ， 并 结合 实际 代码 、 图 示 、 案 例 等 讲解 了 人 工 智能 的 基本 知识 。 

Sit} 10 章 ， 主 要 内 容 包括 : 基于 规则 的 专家 系统 、 不 确定 性 管理 技术 、 模 糊 专家 系 
统 、 基 于 框架 的 专家 系统 、 人 工 神经 网 络 、 进 化 计算 、 混 合 智能 系统 、 知 识 工程 、 数 据 挖掘 
等 。 另 外 ， 本 书 还 提供 了 一 个 人 工 智 能 相关 术语 表 和 包含 商业 化 的 人 工 智 能 工具 的 附录 。 

本 书 既 可 以 作为 计算 机 科学 相关 专业 本 科 生 的 入 门 教材 ， 也 可 以 作为 非 计算 机 科学 专业 
读者 的 自学 参考 书 。 
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文艺 复兴 以 降 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规 范 ， 使 西方 国家 在 自然 科学 的 各 个 领 
域 取得 了 垄断 性 的 优势 ， 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 家 辈出 、 独 领 
风骚 。 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 学 科 中 的 许多 泰山 北 
斗 同 时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科 学 著作 ， 不 仅 擎 划 了 研究 的 范畴 ， 还 揭示 了 
学 术 的 源 变 ， 既 遵循 学 术 规 范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 因 年 月 的 流逝 而 减退 。 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ， 我 国 的 计算 机 产业 发 展 迅 猛 ， 对 专业 人 才 的 需求 日 益 迫 
切 。 这 对 计算 机 教育 界 和 出 版 界 都 既是 机 遇 ， 也 是 挑战 ;而 专业 教材 的 建设 在 教育 战略 上 显得 举 
足 轻重 。 在 我 国信 息 技术 发 展 时 间 较 短 的 现状 下 ， 美 国 等 发 达 国 家 在 其 计算 机 科学 发 展 的 几 十 
年 间 积淀 和 发 展 的 经 典 教 材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国外 优秀 计算 机 教材 将 对 
我 国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真正 的 世界 一 流 大 学 
的 必由之路 。 

机 械 工业 出 版 社 华章 公司 较 早 意识 到 “出 版 要 为 教育 服务 ”。 自 1998 年 开始 ， 我 们 就 将 工 
作 重 点 放 在 了 遵 选 、 移 译 国外 优秀 教材 上 。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson，McGraw-Hill， 
Elsevier, MIT, John Wiley & Sons, Cengage 等 世界 著名 出 版 公司 建立 了 和 良好 的 合作 关系 ,从 他 们 
现 有 的 数 百 种 教材 中 甄选 出 Andrew S. Tanenbaum, Bjarne Stroustrup, Brain W. Kernighan, Dennis 
Ritchie, Jim Gray, Afred V. Aho, John E. Hopcroft, Jeffrey D. Ullman, Abraham Silberschatz, Wil- 
liam Stallings, Donald E. Knuth, John L. Hennessy, Larry L. Peterson 等 大 师 名 家 的 一 批 经 典 作品 , 
以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 学 习 、 研 究 及 珍藏 。 大 理 石 纹理 的 封面 ， 也 正体 现 
了 这 套 丛 书 的 品位 和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 电力 襄 助 ， 国 内 的 专家 不 仅 提供 了 中 肯 
的 选 题 指 导 ， 还 不 辞 劳苦 地 担任 了 翻译 和 审 校 的 工作 ; 而 原 书 的 作者 也 相当 关注 其 作品 在 中 国 
的 传播 ， 有 的 还 专程 为 其 书 的 中 译本 作 序 。 迄 今 , “计算 机 科学 丛书 ”已 经 出 版 了 近 两 百 个 品 
种 ， 这 些 书 籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采用 为 正式 教材 和 参考 书籍 。 其 影印 版 
“经 典 原 版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 的 图 书 
有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完 善 和 教材 改革 的 逐渐 深化 , 教 
育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 人 一 个 新 的 阶段 ， 我 们 的 目标 是 尽善尽美 ， 而 反馈 
的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 公司 欢迎 老师 和 读者 对 我 们 的 工作 提出 建 
议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 


华章 网 站 : www. hzbook. com 
电子 邮件 :hzjsj@ hzbook. com = 
联系 电话 : (010) 88379604 Dit 


联系 地 址 ， 北 京 市 西城 区 百 万 庄 南 街 1 号 ERAN 
邮政 编码 : 100037 华章 科技 图 书 出 版 中 a 
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ATARE (Artificial Intelligence, AI) 是 计算 机 学 科 的 一 个 分 支 ， 被 认为 是 21 世纪 三 大 尖端 
技术 (基因 工程 、 纳 米 科 学 、 人 工 智 能 ) 之 一 。“ 人工 智 能 ”一 词 最 初 是 在 1956 FARMS 
院 研 讨 会 上 提出 的 。 从 那 以 后 ,研究 者 们 发 展 了 众多 理论 和 原理 ， 人 工 .智能 的 概念 也 随 之 扩展 。 
在 经 历 了 辉煌 和 低谷 之 后 ， 近 30 年 来 ， 人 工 智能 的 研究 取得 了 迅速 的 发 展 ， 在 很 多 领域 (例如 
工程 、 医 疗 、 财 经 、 商 业 和 管理 等 ) 都 获得 了 广泛 应 用 。 人 工 智 能 的 研究 逐渐 成 熟 ， 已 成 为 一 
个 独立 的 分 支 ， 无 论 在 理论 和 实践 上 都 已 自 成 一 个 系统 。 

本 书 作 者 Michael Negnevitsky 是 澳大利亚 塔 斯 马 尼 亚 大 学 电气 工程 和 计算 机 科学 系 教授 。 他 
的 许多 研究 课题 都 涉及 人 工 智能 和 软 计算 ， 一 直 致力 于 电气 工程 、 过 程控 制 和 环境 工程 中 智能 
系统 的 开发 和 应 用 。 他 著 有 200 多 篇 论文 、 两 本 书 ， 并 获得 了 四 项 发 明 专利 。 

本 书 是 一 本 很 好 的 人 工 智 能 入 门 书籍 ， 内 容 丰 富 、 浅 显 易 懂 、 适 应 面 广 。 美 国 、 德 国 、 日 本 
等 多 所 大 学 的 计算 机 相关 专业 都 采用 本 书 作 为 教材 或 主要 教学 参考 书 。 与 第 2 版 相 比 ,第 3 版 引 
和 信 了 关于 “数据 挖掘 ”的 新 的 一 章 ， 并 展示 了 智能 工具 在 解决 复杂 实际 问题 中 的 新 应 用 。 第 3 
版 还 扩展 了 本 书 的 参考 文献 和 参考 书目 ， 并 更 新 了 附录 中 的 人 工 智能 工具 和 厂商 列表 。 通 过 本 
书 的 学 习 ， 相 信 读 者 一 定 会 对 人 工 智 能 的 完整 知识 体系 有 全 面 的 了 解 。 

陈 薇 组 织 并 参与 了 本 书 的 翻译 和 审 校 工 作 ， 参 加 翻译 工作 的 还 有 闫 秋 玲 、 黄 威 靖 、 欧 高 炎 、 
刘 瑞 。 由 于 译 者 水 平 有 限 ， 译 文中 疏漏 和 错误 之 处 在 所 难免 ， 欢 迎 广大 读者 批评 指正 。 


陈 d 
2012 年 于 北京 大 学 
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这 本 书 的 主要 目的 与 第 1 版 相同 ， 即 为 读者 提供 一 本 能 实际 了 解 计算 机 智能 领域 相关 知识 的 
书 。 它 适合 作为 一 个 学 期 课程 的 人 门 教程 ， 学 生 需 要 具备 一 些微 积分 的 知识 ， 不 要 求 具 备 编程 的 
经 验 。 : 

在 涵盖 内 容 方面 ， 本 书 引 人 了 关于 数据 挖掘 的 新 的 一 章 ， 并 展示 了 智能 工具 在 解决 复杂 实 
际 问题 中 的 新 应 用 。 主 要 的 变化 如 下 : 

在 新 的 “数据 挖掘 和 知识 发 现 ”一 章 中 ,我 们 介绍 了 大 型 数据 库 中 知识 发 现 不 可 或 缺 的 一 
部 分 一 一 数据 挖掘 。 涉 及 将 数据 转换 为 知识 的 主要 技术 和 工具 ， 包 括 统计 方法 、 数 据 可 视 化工 
具 、 结 构 化 查询 语言 、 决 策 树 和 购物 篮 分 析 。 同 时 还 展示 了 几 个 数据 挖掘 应 用 的 实例 。 

在 第 9 章 中 ,增加 了 采用 自 组 织 神经 网 络 进行 聚 类 分 析 的 新 的 实例 。 

最 后 ， 我 们 还 扩展 了 本 书 的 参考 文献 和 参考 书目 ， 更 新 了 附录 中 的 人 工 智能 工具 和 厂商 
列表 。 


Michael Negnevitsky 
2010 年 9 月 于 澳大利亚 
塔 斯 马 尼 亚 州 ” 霍 书 特 市 


第 1 版 前 言 | 


Artificial Intelligence, 3E 


“The only way not to succeed is not to try. " 
— — Edward Teller 

又 是 一 本 人 工 智能 的 书 …… 我 已 经 见 过 很 多 同类 的 书 ， 为 什么 还 要 理会 它 ?” 它 有 什么 与 众 
不 同 之 处 ? 

每 年 ， 有 成 百 上 千本 书 和 博士 论文 拓展 着 计算 机 或 人 工 智能 的 知识 体系 。 专 家 系统 、 人 工 神 
经 网 络 、 模 糊 系 统 以 及 进化 计算 是 应 用 于 智能 系统 的 主要 技术 ， 数 百 个 工具 支持 着 这 些 技术 ， 数 
以 千 计 的 科学 论文 不 断 推进 着 该 学 科 的 发 展 。 本 书 中 的 任何 章节 的 内 容 都 可 以 作为 一 本 书 的 主 
题 。 然 而 ， 我 想 写 一 本 能 够 阑 述 智能 系统 基础 的 书 ， 更 为 重要 的 原因 是 ， 我 想 消除 大 家 对 人 工 智 
能 理论 的 县 惧 心理 。 

大 多 数 人 工 智能 文献 是 采用 计算 机 科学 的 专业 术语 进行 描述 的 ， 其 中 充斥 着 大 量 复杂 的 矩 
阵 代 数 和 微分 方程 ， 这 当然 给 人 工 智能 理论 带 来 了 令 人 敬佩 的 资本 ,但 同时 也 令 非 计算 机 科学 
的 科学 家 对 其 敬而远之 。 不 过 ， 这 种 情况 已 经 有 所 改变 ! 

个 人 电脑 已 经 成 为 我 们 日 常生 活 中 不 可 或 缺 的 部 分 , 我们 将 它 用 于 打字 机 和 计算 器 、 日历 
和 通信 系统 、 交 互 式 数据 库 以 及 决策 支持 系统 。 并 且 我 们 还 渴望 更 多 。 我 们 希望 计算 机 智能 化 ! 
我 们 发 现 智能 系统 正 快速 地 走出 实验 室 ， 而 我 们 也 想 更 好 地 利用 它 。 

智能 系统 的 原理 是 什么 ? 它 是 如 何 构建 的 ? 智能 系统 的 用 处 是 什么 ? 我 们 该 如 何 选择 适当 的 
工具 构建 智能 系统 ? 这 些 问 题 都 可 以 在 本 书 中 找到 答案 。 

与 许多 介绍 计算 机 智能 的 书 不 同 ， 本 书 将 智能 系统 背后 的 奥妙 简单 明了 地 展示 给 读者 。 它 
是 基于 作者 多 年 来 给 没有 多 少 微 积分 知识 的 学 生 授课 时 所 用 的 讲义 而 编写 的 ， 读 者 甚至 不 用 学 
习 任何 编程 语言 就 可 轻松 理解 ! 书 中 的 素材 已 经 经 过 笔者 15 年 的 教学 实践 的 检验 ， 写 作 中 也 考 
虑 了 学 生 们 提出 的 典型 问题 和 建议 。 

本 书 是 一 本 计算 机 智能 领域 的 人 门 书籍 ， 内 容 包括 基于 规则 的 专家 系统 、 模 糊 专家 系统 、 基 
于 框架 的 专家 系统 、 人 工 神经 网 络 、 进 化 计算 、 混 合 智能 系统 、 知 识 工程 和 数据 挖掘 。 

总 体 来 说 ， 本 书 可 作为 计算 机 科学 、 计 算 机 信息 系统 和 工程 专业 的 本 科 生 的 入 门 教材 。 我 在 
教学 过 程 中 ,会 要 求学 生 开发 小 型 的 基于 规则 和 基于 框架 的 专家 系统 ， 设 计 一 个 模糊 系统 ， 探 究 
人 工 神 经 网 络 ， 采 用 遗传 算法 求解 一 个 简单 的 优化 问题 ， 并 开发 混合 的 神经 模糊 系统 。 他 们 使 用 
一 些 专家 系统 的 核心 程序 (XpertRule、Exsys Corvid 和 Visual Rule Studio), MATLAB 的 模糊 逻辑 
工具 箱 以 及 MATLAB 的 神经 网 络 工具 箱 。 我 们 选择 这 些 工具 的 原因 是 它们 能 够 便利 地 演示 教学 
中 的 原理 。 然 而 ， 本 书 并 不 局 限于 任何 特定 的 工具 ， 书 中 给 出 的 例子 可 以 轻松 地 在 不 同 的 工具 中 
实现 。 . 
本 书 也 适合 非 计算 机 科学 专业 的 相关 人 士 自学 。 对 于 他 们 来 说 ， 本 书 提供 了 进入 基于 知识 
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的 系统 和 计算 智能 的 前 沿 领域 的 钥匙 。 事 实 上 ， 本 书面 向 的 专业 读者 群 十 分 广泛 : 工程 师 和 科学 
家 、 管 理 人 员 和 商人 、 医 生 和 律师 ， 也 就 是 所 有 面临 挑战 而 无 法 用 传统 的 方法 解决 问题 的 人 ， 所 
有 想 了 解 计算 机 智能 领域 巨大 成 就 的 人 。 本 书 将 帮助 你 实际 了 解 智能 系统 的 用 途 ， 发 现 与 你 的 
工作 密切 相关 的 工具 ， 并 最 终 学 会 如 何 使 用 这 些 工具 。 

希望 读者 能 与 我 共同 分 享 人 工 智能 和 软 计算 学 科 所 带 来 的 乐趣 ， 并 从 本 书 中 获 益 。 

读者 可 以 访问 http://www. booksites. net/negnevitsky 获得 更 多 的 信息 。 


Michael Negnevitsky 
2001 年 2 月 于 澳大利亚 
塔 斯 马 尼 亚 州 Gub 
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本 书 一 共 包 含 10 章 。 

第 1 章 简要 介绍 了 人 工 智能 的 历史 ， 从 20 世纪 中 期 诞生 人 工 智能 的 思想 并 在 60 年 代 设 立 了 
远大 目标 并 积极 实现 到 20 世纪 70 年 代 早 期 理想 破灭 和 资金 投入 大 幅 前 减 ， 从 20 世纪 70 年 代 第 
一 代 专家 系统 (DENDRAL, MYCIN, PROSPECTOR) 的 诞生 到 20 世纪 八 九 十 年 代 专家 系统 技术 
的 成 熟 和 其 在 不 同 领域 的 广泛 应 用 ; 从 20 世纪 40 年 代 简单 的 二 元 神经 元 模型 的 提出 到 20 世纪 
80 年 代 人 工 神经 网 络 领域 的 复苏 ; 从 20 世纪 60 年 代 模糊 集 理论 的 提出 和 它 的 存在 被 西方 忽视 
到 20 世纪 80 年 代 日 本 生产 出 大 量 模 糊 用 户 产 品 ， 以 及 20 世纪 90 年 代 软 计算 和 文字 计算 在 世界 
范围 内 的 广泛 接受 。 

第 2 章 提供 了 基于 规则 的 专家 系统 概述 。 作 者 简要 介绍 了 知识 的 概念 ， 以 及 专家 用 产生 式 规 
则 表示 知识 的 过 程 。 作 者 介绍 了 专家 系统 开发 团队 的 主要 成 员 和 基于 规则 系统 的 结构 。 分 析 了 
专家 系统 的 基本 特性 ， 并 指出 专家 系统 不 是 万 无 一 失 的 。 然 后 回顾 了 前 向 链接 和 后 向 链接 推理 
技术 ， 并 讨论 了 冲突 消解 策略 。 最 后 分 析 了 基于 规则 的 专家 系统 的 优 缺 点 。 

第 3 章 展 示 了 专家 系统 使 用 的 两 种 不 确定 性 管理 技术 : 贝 叶 斯 推理 和 确信 因子 。 作 者 分 析 了 
不 确定 知识 的 主要 来 源 ， 并 简要 回顾 了 概率 理论 。 作 者 考虑 了 可 累积 论据 的 贝 叶 斯 方法 并 开发 
一 个 简单 的 基于 贝 叶 斯 方法 的 专家 系统 。 然 后 讨论 确信 因子 理论 ( 贝 叶 斯 推理 的 常用 替代 方 
法 ) ， 并 开发 一 个 基于 论据 推理 的 专家 系统 。 最 后 ， 比 较 贝 叶 斯 推理 和 确信 因子 理论 并 分 析 它 们 
的 适用 范围 。 

第 4 章 介绍 了 模糊 逻辑 并 讨论 其 背后 的 哲学 思想 。 首 先 介绍 模糊 集 的 概念 ， 考 虑 如 何在 计算 
机 里 表示 一 个 模糊 集 并 介绍 了 模糊 集 的 操作 。 作 者 还 定义 了 语言 变量 和 模糊 限制 语 (hedge). & 
后 作者 叙述 了 模糊 规则 ， 并 解释 了 经 典 规则 和 模糊 规则 的 主要 区 别 。 该 章 主要 研究 两 种 模糊 推 
理 技术 : Mamdani 法 和 Sugeno 法 ， 并 就 它们 适宜 的 应 用 领域 给 出 建议 。 最 后 介绍 开发 一 个 模糊 
专家 系统 的 主要 步骤 ， 并 通过 构建 和 调试 模糊 系统 的 具体 过 程 来 阐明 其 理论 。 

第 5 章 概述 了 基于 框架 的 专家 系统 。 介 绍 了 框架 的 概念 ， 并 讨论 如 何 将 框架 用 于 知识 表达 ， 
以 及 阔 明 继承 是 基于 框架 系统 的 基本 特征 ， 还 讨论 了 方法 、 守 护 程序 和 规则 的 应 用 。 最 后 通过 一 
个 实例 来 介绍 基于 框架 的 专家 系统 的 开发 。 

第 6 章 介绍 了 人 工 神经 网 络 ， 并 讨论 了 机 器 学 习 的 基本 思想 。 叙 述 作为 一 个 简单 的 计算 单元 
的 感知 器 的 概念 ， 并 讨论 了 感知 器 的 学 习 规 则 ， 还 探索 了 多 层 神经 网 络 ， 以 及 讨论 了 如 何 提高 反 
向 传播 学 习 算 法 的 计算 效率 。 然 后 介绍 循环 神经 网 络 ， 思 考 Hopfield 网 络 训练 算法 和 双向 联想 记 
忆 (BAM) 。 最 后 介绍 自 组 织 神经 网 络 并 探讨 Hebbian 学 习 规则 和 竞争 学 习 。 

第 7 章 概述 了 进化 计算 ， 其 中 包括 遗传 算法 、 进 化 策略 和 遗传 编程 。 首 先 介绍 了 开发 一 个 遗 
传 算法 的 主要 步 又， 讨论 遗传 算法 的 工作 机 制 ， 并 通过 具体 的 遗传 算法 应 用 阑 明 其 理论 。 然 后 令 
述 一 个 进化 策略 的 基本 概念 ， 比 较 了 进化 策略 和 遗传 算法 之 间 的 不 同 。 最 后 考虑 遗传 编程 以 及 
它 的 实际 应 用 。 

第 8 章 讨论 了 结合 不 同 智能 技术 的 混合 智能 系统 。 首 先 介 绍 一 种 新 型 的 专家 系统 一 一 神经 专 
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家 系统 ， 它 将 神经 网 络 和 基于 规则 的 专家 系统 结合 起 来 。 然 后 考虑 一 个 功能 上 等 同 于 Mamdani 
模糊 推理 模型 的 神经 -模糊 系统 ， 以 及 一 个 功能 上 等 同 于 Sugeno 模糊 推理 模型 的 自 适应 神经 模 
糊 推 理 系统 (ANFIS)。 最 后 讨论 进化 神经 网 络 和 模糊 进化 系统 。 

第 9 章 讨论 了 知识 工程 。 首 先 讨 论 智能 系统 可 以 解决 什么 样 的 问题 ， 并 介绍 知识 工程 过 程 的 
6 个 主要 阶段 。 然 后 展示 了 专家 系统 、 模 糊 系统 、 神 经 网 络 和 遗传 算法 的 典型 应 用 。 作 者 演示 了 
如 何 构建 智能 系统 来 解决 诊断 、 选 择 、 预 测 、 分 类 、 聚 类 和 优化 问题 。 最 后 讨论 了 混合 神经 - 模 
糊 系统 在 决策 支持 和 时 序 预 测 方面 的 应 用 。 

第 10 章 介 绍 了 数据 挖掘 的 概貌 ， 讨 论 了 将 数据 转换 为 知识 的 主要 技术 。 首 先 ， 宽 泛 地 定义 
了 数据 挖掘 ， 并 解释 了 在 大 型 数据 库 中 进行 数据 挖掘 和 知识 发 现 的 过 程 。 介 绍 了 一 些 统计 学 方 
法 ,包括 主 成 分 分 析 ， 并 讨论 了 它们 的 局 限 性 。 随 后 展示 了 关系 数据 库 中 结构 化 查询 语言 的 应 
用 ,介绍 了 数据 仓库 和 多 维 数据 分 析 。 最 后 ， 介 绍 了 最 流行 的 数据 挖掘 工具 一 一 决策 树 和 购物 篮 
分 析 。 

本 书 还 包括 一 个 术语 表 和 一 个 附录 。 术 语 表 包含 了 300 RAAF SRA. SPR, HA 
网 络 、 进 化 计算 、 知 识 工程 以 及 数据 挖掘 领域 的 定义 。 附 录 中 提供 了 商业 化 的 人 工 智能 工具 的 
列表 。 

本 书 的 网 站 地 址 为 http://www. booksites. net/negnevitsky, 
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在 本 书 的 出 版 过 程 中 ， 我 直接 或 间接 地 得 到 了 很 多 人 至 诚 的 帮助 。 我 首先 要 感谢 Vitaly Fay- 
bisovich 博士 ， 他 不 仅 对 我 在 软 计算 领域 的 研究 提出 了 许多 建设 性 的 意见 ， 还 在 我 过 去 30 年 间 的 
奋斗 生涯 中 与 我 建立 了 真诚 的 友谊 并 给 予 了 我 大 力 支 持 。 

我 还 要 感谢 许 许多 多 为 本 书 提出 评论 和 有 益 建 议 的 检阅 人 ， 感 谢 Pearson Education 的 编辑 
们 ， 特 别 是 Keith Mansfield, Owen Knight, Liz Johnson 和 Rufus Cumow， 他 们 帮助 我 完成 了 本 书 的 
出 版 发 行 工 作 。 

我 要 感谢 我 在 澳大利亚 塔 斯 马 尼 亚 大 学 的 本 科 生 和 研究 生 们 ， 特 别 是 我 以 前 的 博士 生 Tan 
Loc Le, Quang Ha, Steven Carter 和 Mark Lim， 他 们 对 新 知识 的 渴求 对 我 来 说 既是 挑战 也 是 激励 。 

我 想 感谢 美国 波士顿 大 学 的 Stephen Grossberg 教授 、 德 国 马 德 堡 大 学 的 Frank Palis 教授 、 日 
本 广岛 大 学 的 Hiroshi Sasaki 教授 、 美 国 罗切斯特 理工 学 院 的 Walter Wolf 教授 以 及 东京 工业 大 学 
的 Kaoru Hirota 教授 ， 他 们 为 我 提供 了 在 学 生 中 对 书 的 内 容 进行 测试 的 机 会 。 

我 还 要 衷心 地 感谢 Vivienne Mawson 和 Margaret Eldridge 博士 对 本 书 初稿 的 审读 工作 。 

尽管 本 书 的 第 1 版 出 版 了 十 多 年 ， 但 是 已 经 有 很 多 人 用 过 它 并 向 我 提出 了 宝贵 的 意见 和 建 
议 ， 由 于 人 数 众 多 ， 在 此 不 能 一 一 致谢 ， 但 我 至 少 要 感谢 那些 提出 了 特别 有 益 建议 的 人 们 : Mar- 
tin Beck (英国 普利茅斯 大 学 ) Mike Brooks (澳大利亚 阿 德 菜 德 大 学 ) Genard Catalano. (美国 
哥伦比亚 大 学 ) Warren du Plessis (南非 比 勒 陀 利 亚 大 学 ) Salah Amin Elewa (埃及 美洲 大 学 ) 、 
Michael Fang (中 国 浙江 大 学 ) John Fronckowiak (美国 曼 达 尔 学 院 ) Patrick B. Gibson (WEK 
温莎 大 学 ) Lev Goldfarb (加 拿 大 New Brunswick KÆ), Susan Haller (美国 威斯康星 大 学 )、 
Evor Hines (英国 沃 里 克 大 学 ) Philip Hingston (澳大利亚 埃 迪 斯 科 文 大 学 ) Sam Hui (美国 斯 
坦 福 大 学 ) Yong - Hyuk Kim (韩国 光 云 大 学 ) David Lee (英国 赫 特 福 德 那 大 学 ) Andrew 
Nunekpeku ( 加纳 大 学 ) Vasile Palade (英国 牛津 大 学 )、Leon Reznik (美国 罗切斯特 理工 学 
Di). Simon Shiu (中 国 香 港 理工 大 学 ) Boris Stilman (美国 科罗拉多 大 学 ) Thomas Uthmann 
(德国 美 因 茨 约翰 尼斯 古 腾 堡 大 学 ) Anne Venables (澳大利亚 维多利亚 大 学 ) Brigitte Ver- 
donk (比利时 安特卫普 大 学 ) Ken Vollmar (美国 西南 密苏里 州立 大 学 ) Kok Wai Wong (新 加 
坡 南洋 理工 大 学 ) 以 及 Georgios N. Yannakakis ( 疾 麦 哥本哈根 信息 技术 大 学 )。 
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基于 知识 的 智能 系统 概述 





本 章 讨 论 何 为 智能 以 及 机 器 能 否 真正 实现 智能 化 。 


1.1 智能 机 

哲学 家 们 两 千 多 年 来 一 直 致 力 于 理解 和 解决 宇宙 的 两 大 问题 : 人 类 是 如 何 思考 的 ? 人 类 以 
外 的 物体 是 否 也 能 够 思考 ? 至今， 这 两 个 问题 依旧 没有 答案 。 

一 部 分 哲学 家 接受 由 计算 机 领域 的 科学 家 提出 的 计算 方法 ， 认 可 人 类 所 做 的 任何 事情 机 器 
都 能 够 做 到 的 观点 。 另 一 部 分 哲学 家 则 非常 反对 这 一 观点 ， 认 为 一 些 高 级 复杂 的 行为 (例如 爱 、 
创新 、 道 德 判断 ) 远 超出 了 任何 机 器 的 能 力 范围 。 

哲学 的 特质 允许 这 些 争论 一 直 存 在 。 但 事实 上 ， 工 程 师 和 科学 家 们 已 经 造 出 了 具有 “智能 ” 
的 机 器 。 何 为 “智能 ”? 下 面 是 来 自 《 柯 林 斯 基础 英语 词典 》 的 定义 : 

(1) 智能 是 人 类 理解 和 学 习 事情 的 能 力 。 

(2) 智能 是 思考 和 理解 事情 的 能 力 ， 而 非 本 能 或 机 械 地 做 事情 。 

一 一 《柯林斯 基础 英语 词典 》2008 年 版 

按照 第 一 条 定义 ， 智 能 是 专属 于 人 类 的 一 个 品质 ， 但 第 二 条 定义 更 具 弹 性 ， 指 出 只 要 具有 思 
考 和 理解 能 力 就 具有 智能 ， 而 不 限制 主体 是 人 还 是 物 。 而 定义 里 的 “思考 ”是 什么 意思 呢 ? 再 
次 看 词典 中 的 定义 : 

思考 是 使 用 大 脑 考虑 问题 或 创建 新 想法 的 活动 。 

一 一 《柯林斯 基础 英语 词典 》2008 年 版 

为 了 能 够 思考 ， 人 或 物 需 要 拥有 像 大 脑 那 样 的 一 个 器 官 ， 依 赖 它 去 学 习 、 理 解 事物 ， 去 处 理 
问题 和 做 出 决策 。 因 此 智能 可 以 定义 为 “学 习 和 理解 事物 、 处 理 问 题 并 做 出 决策 的 能 力 ”。 

计算 机 能 否 智能 化 ， 即 机 器 能 否 思考 ， 这 一 问题 源 于 人 工 智 能 的 “黑暗 时 代 ” (20 世纪 40 
年 代 晚 期 开始 ) 。 作 为 一 门 科学 ， 人 工 智 能 (Artificial Intelligence, AI) 的 目标 是 使 机 器 像 人 那 
样 具有 智能 去 做 事情 (Boden，1977) 。 因 此 ， 关 于 “机 器 能 和 否 思 考 ” 这 一 问题 的 答案 对 人 工 智 
能 这 一 学 科 至 关 重 要 。 答 案 本 身 不 是 “能 ”或 “不 能 ”之 类 的 简单 判断 ， 而 必定 是 模糊 的 。 我 
们 从 常识 中 也 能 得 出 这 个 结论 : 比如 一 部 分 人 在 某 些 方面 比 其 他 人 聪明 ; 日 常生 活 中 做 出 的 抉 
择 有 些 是 明智 的 ， 有 些 则 很 轧 春 的 ， 有 人 可 能 精通 复杂 的 数学 、 工 程 问 题 ,但 对 于 哲学 或 历史 却 
一 窒 不 通 ， 有 人 善于 赚钱 ， 而 有 人 更 善于 花 钱 。 虽然 人 类 中 的 每 一 个 成 员 都 具有 学 习 和 理解 事 
物 、 处 理 问 题 并 做 出 决策 的 能 力 , 但 比较 起 来 ， 这 种 能 力 在 每 一 个 领域 都 不 均等 。 所 以 ， 如 果 机 
器 能 够 思考 ， 一 部 分 机 器 在 某 些 方面 也 许 比 另 一 部 分 机 器 聪明 。 

英国 数学 家 阿兰 . 图 灵 (Alan Turing) 在 50 多 年 前 撰写 的 论文 “计算 机 器 和 智能 化 ” (Tur 
ing, 1950) 是 关于 机 器 智能 方面 最 早 和 最 有 影响 的 文章 之 一 。 图 灵 的 思想 经 住 了 时 间 的 考验 ， 
到 现在 为 止 仍 是 通用 的 。 

阿兰 . 图 灵 在 20 世纪 30 年 代 早 期 重新 发 现 了 中 心 极 限定 理 ， 他 也 由 此 开始 了 科学 生涯 。 
1937 年 ， 他 发 表 了 可 计算 数字 的 论文 ， 在 这 篇 文章 中 提出 了 通用 机 器 的 概念 。 之 后 在 二 战 期 间 ， 
他 在 破解 德国 军用 编码 机 Enigma 的 工作 中 担任 了 重要 角色 。 第 二 次 世界 大 战 结束 后 ， 他 设计 了 
“自动 计算 机 器 ”， 并 设计 了 第 一 个 国际 象棋 比赛 程序 ， 后 来 在 曼彻斯特 大 学 的 计算 机 上 得 以 实 
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现 。 图 灵 关 于 通用 机 的 理论 概念 和 译 码 的 实践 经 验 使 他 在 人 工 智能 的 关键 性 基础 问题 方面 取得 
进展 。 他 曾经 提出 这 样 的 问题 : 是 否 存在 不 需 经 验 的 思考 ? 是 否 存 在 不 需 交流 的 思考 ? 是 否 存 在 
不 使 用 的 语言 ? 是 否 存在 生命 之 外 的 智能 ? 显然 ， 这些 问题 都 是 人 工 智能 中 的 基础 问题 一 一 
“机 器 能 否 思考 ?” 的 不 同 表达 。 

图 灵 并 没有 对 机 器 和 思考 进行 定义 ， 而 是 设计 了 一 个 游戏 一 一 图 灵 模 拟 游戏 ， 用 游戏 阐述 
他 对 机 器 和 思考 的 理解 ， 从 而 避免 了 关于 定义 的 异议 。 图 灵 认 为 ， 与 其 问 “机 器 能 否 思考 ， 不 
如 间 “ 机 器 能 否 通过 智能 行为 测试 "。 他 曾经 预测 ， 到 公元 2000 年 时 ， 计 算 机 能 够 通过 程序 与 
人 进行 5 分 钟 对 话 ， 并 有 3096 的 机 会 使 对 话 的 人 认为 对 方 不 是 计算 机 ， 而 是 人 。 图 灵 将 计算 机 
智能 行为 定义 为 在 认 知 任务 中 达到 人 类 行为 水 平 的 能 力 。 换 名 话说， 如 果 对 话 者 依据 所 提问 题 
的 答案 无 法 判断 对 方 是 人 还 是 机 器 ， 计 算 机 就 通过 了 测试 。 

图 灵 模 拟 游戏 包括 两 个 阶段 。 在 第 一 阶段 ， 如 图 1. 1 所 示 ， 一 个 审讯 员 和 一 男 一 女 分 别 被 安 
排 在 单独 的 空间 ， 他 们 只 能 通过 远程 终端 之 类 的 中 介 进 行 交流 。 审 讯 员 的 目标 是 通过 对 另外 两 
个 人 提问 ， 根 据 他 们 的 回答 来 判断 谁 是 男 的 、 谁 是 女 的 。 游 戏 规则 是 男士 要 尽力 让 审讯 员 认为 他 
是 女士 ， 而 女士 则 需 向 审讯 员 证 明 她 是 女士 。 

游戏 的 第 二 个 阶段 ， 如 图 1.2 所 示 ， 用 一 台 计 算 机 代替 男士 ,计算 机 的 任务 和 第 一 阶段 中 男 
士 的 任务 一 样 。 对 计算 机 编程 时 ， 为 了 更 好 地 模拟 人 类 ， 故 意 让 计算 机 犯错 或 提供 模糊 的 答案 。 
如 果 计 算 机 成 功 “ 骗 过 ”审讯 员 的 次 数 和 男士 成 功 “ 骗 过 ”审讯 员 的 次 数 一 致 ， 则 认为 计算 机 
通过 了 智能 行为 测试 。 


























图 1.1 图 灵 模 拟 游戏 : 第 一 阶段 图 1.2 图 灵 模 拟 游戏 : 第 二 阶段 

对 于 人 的 身体 模拟 在 智能 测试 中 并 不 重要 。 因 此 ， 图 灵 测 试 中 ， 审 讯 员 看 不 见 、 触 不 到 、 听 
不 到 计算 机 ， 因 此 不 会 受 计算 机 的 外 表 或 声音 的 干扰 。 但 是 为 了 辨别 出 计算 机 ， 审 讯 员 可 以 问 任 
何 问题 ， 甚 至 是 过 激 的 问题 。 例 如 ， 审 讯 员 可 以 让 人 和 计算 机 做 复杂 的 数学 计算 ， 如 果 一 方 提供 
了 正确 答案 ， 并 且 比 对 方 速度 快 ， 可 以 判断 这 一 方 就 是 计算 机 。 因 此 ， 计 算 机 必须 知道 何 时 故意 
出 错 、 何 时 延迟 回答 。 审 讯 员 也 可 能 会 问 双方 关于 短篇 小 说 、 诗 歌 、 绘 画 方面 的 问题 ， 由 此 可 以 
推断 出 一 方 具有 的 明显 的 人 类 专属 的 情绪 特征 。 当 面 对 这 一 类 问题 时 ,计算 机 就 必须 模拟 人 类 
对 事物 的 感性 理解 。 

图 灵 测试 很 通用 ， 原 因 是 测试 具备 了 两 个 显著 特征 : 

e 由 于 使 用 终端 进行 人 机 交互 ， 这 一 测试 让 我 们 对 智能 有 客观 的 衡量 标准 ， 避 免 了 对 人 类 智 

能 本 质 的 争论 ， 并 排除 了 偏向 人 类 的 可 能 性 。 

e 测试 本 身 独立 于 实验 细节 。 既 可 以 像 前 述 的 进行 两 阶段 测试 ， 也 可 以 变 成 一 个 阶段 的 测 

试 ， 从 一 开始 就 让 审讯 员 对 人 与 机 器 进行 判断 。 审 讯 员 既 可 以 提 任 何 领域 的 任何 问题 ， 也 

可 以 只 关注 答案 本 身 。 


第 1 章 ”基于 知识 的 智能 系统 概述 ”3 


图 灵 相 信 到 20 世纪 末 ， 能 够 通过 对 数字 计算 机 编程 来 完成 测试 游戏 。 尽 管 现代 计算 机 还 没 
有 通过 图 灵 测 试 ， 但 已 经 为 我 们 提供 了 基于 知识 的 系统 的 评估 和 验证 基础 。 通 过 与 人 类 专家 行 
为 对 比 ， 已 经 对 一 些 狭 窄 专业 领域 的 具有 智能 的 程序 进行 了 评估 。 

我 们 的 大 脑 具 有 10 位 的 容量 ， 能 够 每 秒 处 理 10 位 的 信息 。 到 2020 年 ， 也 许 一 块 方 糖 大 小 
的 芯片 就 足以 模拟 人 脑 ， 也 许 会 有 计算 机 能 够 通过 图 灵 测 试 游戏 。 但是， 我 们 真 的 想 让 计算 机 在 
做 数学 计算 时 ， 像 人 一 样 又 慢 又 会 出 错 吗 ? 实际 上 ， 智 能 机 应 该 能 够 帮助 人 类 进行 决策 、 搜 索 信 
息 、 控 制 复 杂 对 象 ， 最 终 理解 单词 含义 。 也 许 没有 必要 片面 追求 使 计算 机 像 人 一 样 聪明 这 一 既 抽 
象 又 艰 滁 的 目标 。 为 了 构建 一 套 智 能 机 系统 ， 我 们 必须 去 捕捉 、 组 织 和 使 用 某 个 狭窄 专业 领域 的 
人 类 专家 知识 。 


1.2 人工 智能 的 发 展 历史 ， 从 “黑暗 时 代 ” 到 基于 知识 的 系统 
人 工 智 能 成 长 为 一 门 科学 ， 历 经 三 代 研 究 者 的 努力 。 这 一 节 就 来 介绍 每 一 代 研 究 者 对 人 工 
智能 学 科 所 做 的 贡献 和 重大 事件 。 


1.2.1 “黑暗 时 代 ”， 人 工 智 能 的 诞生 (1943 ~1956 年 ) 


Warren McCulloch 和 Walter Pitts 在 1943 年 发 表 了 人 工 智 能 领域 的 开篇 之 作 。MecCulloch 拥有 
哥伦比亚 大 学 的 哲学 和 医学 学 位 ， 后 来 在 伊利 诺 伊 大 学 的 精神 病 学 系 担任 基础 研究 实验 室 的 主 
任 。 他 在 对 中 枢 神 经 系统 的 研究 中 提出 了 大 脑 神经 元 模型 ， 最 早 为 人 工 智能 做 出 了 主要 贡献 。 

McCulloch 和 年 轻 的 数学 家 Walter Pitts 合作 ， 提 出 了 人 工 神经 网 络 模型 ， 这 个 模型 假定 每 个 
神经 元 有 两 个 状态 : 开 、 关 (McCulloch and Pitts, 1943) 。 并 证 明 他 们 的 神经 网 络 模型 实际 上 等 
价 于 图 灵机 ， 并 且 任 何 可 计算 函数 都 可 以 由 相连 的 神经 元 网 络 进行 计算 。 同 时 揭示 了 简单 的 网 
络 结构 具有 学 习 功 能 。 . 

神经 元 网 络 模型 从 理论 和 实验 两 个 方面 激发 了 对 大 脑 模型 的 研究 。 但 是 ， 实 验 结 果 清 晰 地 
表明 将 神经 元 限制 为 两 个 状态 是 不 正确 的 。 事 实 上 ， 神 经 元 具有 明显 的 非 线 性 特征 ， 而 非 简单 的 
二 元 状态 。 即 使 如 此 ，MeCulloch 是 人 工 智能 领域 继 阿兰 ， 图 灵 之 后 的 第 二 个 创始 人 ， 为 神经 计 
算 和 人 工 智能 网 络 (Artificial Neural Networks, ANN) 芮 定 了 基础 。 人 工 神 经 网 络 的 研究 在 20 t 
纪 70 年 代 经 历 了 衰退 ， 在 20 世纪 80 年 代 后 期 重新 复苏 。 

人 工交 能 的 第 三 个 英 基 人 是 聪明 的 匈牙利 籍 数 学 家 John von Neumann。 他 在 1930 年 加 入 了 普 
林 斯 顿 大 学 ， 在 数学 物理 系 任教 。 他 是 阿兰 . 图 灵 的 同事 和 朋友 。 在 第 二 次 世界 大 战 期 间 ，von 
Neumann 在 建造 原子 弹 的 “曼哈顿 项 目 ” 中 担任 重要 角色 ， 并 成 为 宾夕法尼亚 大 学 的 ENIAC 
(Electronic Numerical Integrator and Caleulator， 电 子 数 字 集 成 计算 器 ) 项 目的 顾问 ， 参 与 设计 了 
EDVAC 计算 机 (Electronic Discrete Variable Automatic Computer， 电 子 离散 变量 自动 计算 机 )9 。 
McCulloch 和 Pitts 所 提出 的 神经 网 络 模型 使 von Neumann 受到 启发 。 因 此 ， 在 1951 年 ， 当 来 自 普 
林 斯 顿 大 学 数学 系 的 两 个 研究 生 Marvin Minsky 和 Dean Edmonds 建造 第 一 台 神 经 网 络 计算 机 时 ， 
von Neumann 鼓励 并 资助 了 他 们 。 

在 第 一 代 研 究 者 中 ， 不 得 不 提 Claude Shannon。 他 毕业 于 麻 省 理工 学 院 并 于 1941 年 加 入 贝尔 
KEZE, Shannon 继承 了 阿兰 .图 灵 的 观点 ， 认 为 可 以 使 机 器 智能 化 。 在 1950 年 ， 他 发 表 了 一 篇 
关于 让 机 器 下 象棋 的 文章 ， 文 章 指出 一 盘 典 型 的 棋 赛 大 约 有 10 7 Y BEES] (Shannon, 1950), 。 即 








© EDVAC 是 一 个 存储 程序 的 机 器 。 
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使 一 台新 的 von Neumann 式 计算 机 每 微 秒 就 能 测试 一 种 走 法 ， 移 动 第 一 步 也 得 花 上 3 x 107 4g, 
因此 ，Shannon 论证 了 在 寻找 解决 方案 时 使 用 启发 式 策略 的 必要 性 。 

另 一 位 人 工 智 能 莫 基 人 John McCarthy 也 来 自 普 林 斯 顿 大 学 。 他 从 普林斯顿 大 学 毕业 后 去 达 
特 茅 斯 学 院 工 作 。 他 说 服 了 Marvin Minsky 和 Claude Shannon 在 达 特 茅 斯 学 院 组 织 一 个 暑期 研讨 
会 。 在 1956 年 ， 他 们 召集 了 对 机 器 智能 、 人 工 神经 网 络 和 自动 理论 感 兴趣 的 研究 者 ， 参 加 由 
IBM 稚 助 的 研讨 会 。 尽 管 研讨 会 仅 有 10 人 参加 ， 但 这 次 会 议 却 促成 了 人 工 智 能 学 科 的 诞生 。 在 
之 后 的 20 年 里 ， 参 加 过 达 特 茅 斯 学 院 研 讨 会 的 学 者 及 他 们 的 学 生 在 人 工 智能 领域 一 直 起 主导 
作用 。 
1.2.2 人 工 智能 的 上 升 期 ， 远 大 目标 积极 实现 的 年 代 (1956 年 ~20 世纪 60 年 代 

晚期) C 


在 人 工 智能 学 科 的 发 展 早期 ， 可 以 用 热情 巨大 、 想 法 大 胆 ， 但 成 果 很 少 来 形容 。 当 时 ， 计 算 
机 被 用 来 做 常规 数学 计算 才 几 年 时 间 ， 而 人 工 智能 领域 的 研究 者 却 已 在 论证 计算 机 的 本 领 远 超 
过 这 些 。 这 真是 一 个 有 远大 目标 并 积极 付 诸 实现 的 年 代 。 

John McCarthy 作为 达 特 茅 斯 学 院 研讨 会 的 组 织 者 之 一 ， 也 是 “人 工 智能 ”这 一 术语 的 发 明 
者 ， 从 达 特 茅 斯 学 院 转 到 了 麻 省 理工 学 院 。 他 设计 了 高 级 语言 LISP。LISP 是 早期 编程 语言 之 一 
(FORTRAN 仅 比 它 早 了 两 年 ) ， 到 今天 还 有 人 在 用 。 在 1958 Æ, McCarthy 发 表 了 论文 “基于 常 
识 的 程序 ”， 文 中 提出 了 一 个 名 为 “建议 采纳 者 ” (Active Taker) 的 程序 ， 用 于 搜索 一 般 性 问题 
的 解决 方案 (McCarthy, 1958). McCarthy 论证 了 设计 和 生成 程序 的 方法 ， 他 以 驾车 去 机 场 为 例 ， 
采用 这 个 程序 基于 几 个 简单 的 规则 设计 了 驾驶 计划 。 更 重要 的 是 ， 程 序 无 须 变动 ， 就 可 以 接受 来 
自 不 同 专业 领域 的 新 的 规则 ， 即 可 以 接受 新 知识 。 因 此 ,“ 建 议 采 纳 者 ”是 第 一 个 真正 集成 了 知 
识 表 达 和 推理 的 核心 法 则 的 基于 知识 的 系统 。 

达 特 茅 斯 学 院 研 讨 会 的 另 一 个 组 织 者 Marvin Minsky 也 加 入 了 麻 省 理工 学 院 。 他 不 像 McCar- 
thy 那样 专注 于 形式 逻辑 ， 而 是 建立 了 一 套 反 逻辑 的 观点 ， 以 处 理 知识 表达 和 推理 。 他 的 框架 理 
论 为 知识 工程 做 出 了 主要 的 贡献 (Minsky, 1975), 

由 McCulloch 和 Pitts 开创 的 神经 计算 和 人 工 神 经 网 络 的 早期 研究 得 以 继续 。 随 着 学 习 方 法 的 
改进 和 提高 ，Frank Rosenblatt 证 明了 感知 器 收敛 理论 ， 并 论证 他 的 学 习 算 法 能 够 调整 感知 器 的 连 
接 程 度 (Rosenblatt, 1962), 

GPS (General Problém Solver， 通 用 问题 解决 方案 ) 是 在 这 个 大 胆 假设 年 代 最 具 野 心 的 项 目 
之 一 (Newell and Simon, 1961; 1972)。 卡 内 基 - 梅 隆 大 学 的 Allen Newell 和 Herbert Simon 设计 
了 一 个 通用 程序 ， 用 于 模拟 人 类 在 解决 问题 时 的 方法 。GPS 也 许 是 第 一 个 尝试 将 解决 问题 的 技术 
和 数据 分 开 的 程序 。 它 使 用 了 现在 已 被 称 为 手段 目的 分 析 (means-ends analysis) 的 技术 。New- 
ell 和 Simon 假定 可 以 用 状态 去 定义 问题 。 手 段 — 目的 的 作用 是 判断 问题 的 当前 状态 和 期 望 状态 
或 目标 状态 的 差距 ， 并 选择 操作 算 子 去 达到 目标 状态 。 如 果 从 当前 状态 不 能 直接 到 达 目 标 状态 ， 
就 要 建立 一 个 更 接近 目标 状态 的 新 状态 ， 重 复 这 一 过 程 直到 达到 目标 状态 。 操 作 算 子 集合 决定 
了 解决 方案 。 

但 是 ，GPS 无 法 解决 复杂 问题 。 由 于 程序 建立 在 形式 逻辑 的 基础 上 ， 操 作 算 子 可 能 有 无 穷 多 
个 ， 导致 效 率 低下 。 在 解决 实际 问题 时 ，GPS 需要 大 量 运算 时 间 和 内 存 ， 这 导致 人 们 后 来 放弃 
GPS 计划 。 

总 之 ， 在 20 世纪 60 年 代 ， 为 了 模拟 复杂 的 思考 过 程 ， 人 工 智 能 研究 者 试图 研究 通用 方法 来 
解决 广泛 的 问题 。 他 们 使 用 了 通用 搜索 策略 以 寻找 解决 方案 。 通 用 搜索 策略 现在 被 称 为 弱 方法 ， 
由 于 使 用 的 是 问题 域 的 弱 信 息 ， 导 致 程序 的 性 能 低下 。 
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不 管 怎样 ， 这 个 发 展 阶段 吸引 了 伟大 的 科学 家 针对 人 工 智能 各 个 方面 提出 创新 性 的 基础 理 
论 ， 例 如 在 知识 表达 、 学 习 算 法 、 神 经 计算 以 及 文字 计算 等 诸 方面 。 当 时 由 于 计算 机 性 能 的 限 
制 ， 这 些 理论 并 未 实现 ， 但 却 为 20 年 后 的 实际 应 用 指明 了 方向 。 

值得 一 提 的 是 ,来 自 加 州 大 学 伯克利 分 校 的 Lotfi Zadeh 教授 也 在 20 世纪 60 年 代 发 表 了 著名 
的 文章 “模糊 集 ”(Zadeh，1965 ) 。 现 在 人 们 一 致 认为 这 篇 文章 为 模糊 集 理 论 葛 定 了 基础 。20 年 
后 ,模糊 集 理论 研究 者 已 经 构建 了 成 百 上 千 的 智能 机 和 智能 系统 。 

人 工 智能 令 人 鼓舞 的 时 代 到 1970 年 结束 ， 大 部 分 政府 资助 的 人 工 智能 项 目 也 被 迫 取 消 。 人 
工 智能 仍 是 一 个 相对 新 的 领域 ， 偏 于 学 术 性 ， 除 了 一 些 游戏 之 外 几乎 没有 实际 应 用 (Samuel, 
1959; 1967; Greenblatt et al. , 1967) 。 在 外 界 看 来 ， 由 于 不 存在 能 解决 实际 问题 的 人 工 智 能 系 
统 ， 所 取得 的 成 绩 也 只 是 小 玩意 而 已 。 


1.2.8 没有 懂行 的 诺言 ， 来 自 现实 的 冲击 (20 世纪 60 年 代 晚 期 ~20 世纪 70 年 代 早 期 ) 


从 20 世纪 50 年代 中 期 ， 人 工 智能 研究 者 就 承诺 到 20 世纪 80 年 代 建 造 出 与 人 类 智能 相当 的 
全 能 智能 机 ， 到 公元 2000 年 ， 建 造 出 超越 人 类 智能 的 智能 机 。 但 到 1970 年 时 ， 他 们 已 经 意识 到 
这 些许 诺 过 于 乐观 。 虽 然 个 别 智能 程序 能 够 在 一 两 个 小 问题 上 展示 出 一 定 水 平 的 智能 ， 但 几乎 
所 有 的 人 工 智 能 项 目 都 对 稍 宽泛 的 问题 和 实际 的 复杂 问题 无 能 为 力 。 

在 20 世纪 60 年 代 晚 期 ， 人 工 智 能 学 科 存 在 的 问题 主要 表现 在 以 下 几 个 方面 。 

e 由 于 人 工 智能 研究 者 专注 于 开发 能 解决 广义 问题 的 一 般 方 法 ， 因 此 早期 的 程序 只 包含 很 少 
甚至 没有 相关 问题 域 的 知识 。 为 了 解决 问题 ， 程 序 中 应 用 了 一 种 搜索 策略 ， 尝 试 对 小 步 又 
进行 不 同 的 组 合 ， 直 到 找 出 真正 的 解决 方案 。 由 于 这 种 思路 对 于 小 问题 是 有 效 的 ， 因 而 被 
误 认为 可 以 通过 对 程序 进行 扩展 来 解决 更 大 的 问题 。 事 实 上 ， 这 种 想法 是 错误 的 。 

简单 的 而 易 处 理 的 问题 在 多 项 式 级 的 时 间 内 就 得 以 解决 ， 就 是 说 ， 对 于 一 个 规模 为 n 的 问 

题 ， 所 需 的 求解 时 间或 求解 步骤 数 是 n 的 多 项 式 函 数 。 而 解决 棘手 而 不 易 处 理 的 问题 所 需 的 时 间 
是 问题 规模 的 指数 级 函数 。 一 般 认 为 ， 多 项 式 级 运算 时 间 的 算法 是 高 效 的 ， 而 指数 级 运算 时 间 的 
算法 则 是 低 效 的 ， 原 因 是 后 者 的 运算 时 间 随 着 问题 规模 的 增 大 而 呈 飞 速 增长 。20 世纪 70 ERE 
期 所 提出 的 NP 完全 问题 理论 (NP- Completeness) (Cook, 1971; Karp, 1972) 揭示 出 一 大 类 非 
确定 多 项 式 级 问题 ( Non- deterministic Polynomial problem，NP 问题 ) 都 是 NP 完全 问题 。NP 问题 
是 指 能 够 在 多 项 式 时 间 内 估算 并 进行 验证 的 问题 (假设 有 解 )。 非 确定 是 指 不 存在 特定 算法 来 进 
行 估算 。 而 NP 完全 问题 则 是 NP 问题 中 最 难 的 问题 ， 即 使 用 速度 最 快 、 内 存 最 大 的 计算 机 也 难 
以 求解 。 

e 许多 人 工 智能 试图 解决 的 问题 都 太 宽泛 、 太 复杂 。 早 期 人 工 智能 的 一 个 典型 任务 就 是 机 器 
翻译 。 例 如 ， 在 前 苏联 于 1957 年 发 射 第 一 颗 人 造 卫 星 Sputnik 之 后 ， 美 国 国家 研究 委员 会 
就 资助 针对 俄语 科学 文献 的 机 器 翻译 项 目 。 最 初 ， 项 目 团队 想 利 用 电子 词典 直接 将 俄语 单 
词 蔡 换 为 对 应 的 英语 单词 。 不 久 他 们 便 发 现 只 有 了 解 了 文献 主题 才能 正确 选择 单词 。 由 于 
任务 太 难 ，1966 年 由 美国 政府 资助 的 所 有 翻译 项 目 都 被 取消 。 

e 在 1971 年 , 英国 政府 也 终止 了 对 人 工 智 能 研究 的 资助 。 英 国 科 学 研究 委员 会 派 James 
Lighthill 岁 士 调研 当时 的 人 工 智能 研究 现状 ， 他 发 现 人 工 智能 领域 并 没有 重大 甚至 显眼 的 
研究 成 果 ， 因 而 认为 不 必 保 留 一 个 独立 的 “人 工 智能 ”学 科 。 


1.2.4 专家 系统 技术 ， 成 功 的 关键 因素 (20 世纪 70 年 代 早 期 ~20 世纪 80 年 代 中 期 ) 


20 世纪 70 年 代 最 重要 的 进展 ， 也 许 就 是 人 们 意识 到 必须 对 智能 机 器 的 问题 域 进行 充分 限 
制 。 而 在 此 之 前 ， 人 工 智 能 研究 者 一 直 认 为 ,为 了 对 通用 的 、 人 类 惯用 的 解决 问题 的 方法 进行 仿 
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真 ， 必 须 创 造 出 聪明 的 搜索 算法 和 推理 技术 。 一 种 通用 的 搜索 机 制 可 以 依赖 基本 的 推理 步骤 来 
发 现 完整 的 解决 方案 并 可 以 使 用 问题 域 的 弱 知识 。 然 而 ， 当 这 种 弱 方 法 失败 后 ， 研 究 者 们 最 终 意 
识 到 ， 唯 一 出 路 是 使 用 大 量 推理 步骤 来 解决 狭 牵 专业 领域 的 典型 问题 。 

DENDRAL 是 当时 的 一 个 典型 例子 (Buchanan et al. , 1969) ， 其 由 斯 坦 福 大 学 开发 ， 用 于 化 
学 分 析 。NASA 资助 了 这 个 项 目 ， 原 因 是 当时 美国 要 发 射 一 个 无 人 宇宙 飞船 到 火星 ， 需 要 根据 由 
质谱 仪 提供 的 大 量 光 谱 数 据 ， 由 此 设计 程序 以 分 析 火 星 表面 土壤 的 分 子 结构 。Edward Feigenbaum 
( && J&- Herbert Simon 的 学 生 ) , Bruce Buchanan. (计算 机 科学 家 ) Joshua Lederberg (遗传 学 领域 
的 诺 贝尔 奖 获得 者 ) 组 成 团队 来 解决 这 一 挑战 性 的 问题 。 

这 类 问题 的 传统 解决 方法 都 依赖 于 枚 举 一 测 试 技术 : 首先 枚 举 出 与 质谱 图 一 致 的 所 有 可 能 
的 分 子 结构 ， 用 每 一 个 分 子 结构 预测 质谱 ， 再 根据 实际 的 质谱 进行 检验 。 但 是 ， 由 于 分 子 结构 会 
达到 千 百 万 个 ， 即 使 分 子 数目 适中 ， 问 题 也 会 迅速 复杂 化 ， 因 此 这 种 方法 是 行 不 通 的 。 

更 困难 的 是 ， 没 有 科学 的 算法 将 质谱 图 匹配 到 对 应 的 分 子 结构 。 不 过 ， 像 Lederberg 这 样 的 
分 析 化 学 家 可 以 使 用 他 们 的 技巧 、 经 验 和 特长 解决 这 个 问题 。 通 过 找 出 质谱 图 中 的 高 峰 期 所 具 
有 的 明显 的 模式 ， 可 以 大 大 降低 可 能 的 分 子 结构 数目 ， 再 使 用 几 个 可 行 的 方法 进一步 求解 。 所 
以 ，Feigenbaum 的 任务 就 是 在 程序 设计 时 将 Lederberg 的 专业 知识 考虑 进来 ， 以 使 程序 具有 相当 
于 人 类 专家 的 水 平 。 这 种 程序 后 来 被 称 为 专家 系统 。 要 想 理解 、 采 纳 Lederberg 的 知识 ， 并 用 他 
的 术语 进行 操作 ，Feigenbaum 需要 学 习 化 学 和 质谱 分 析 的 基本 知识 。 当 然 ， 他 不 仅 需 要 使 用 化 学 
规则 ， 也 需要 基于 其 经 验 和 猜测 ， 并 使 用 他 自己 的 经 验 法 则 之 类 的 启发 式 方法 。 不 久 Feigenbaum 
就 发 现 项 目 中 的 一 个 主要 困难 是 如 何 从 人 类 专家 那里 抽取 知识 并 应 用 于 计算 机 ， 他 将 这 一 问题 
称 为 “知识 获取 瓶颈 ” 。 为 了 更 清楚 地 表达 知识 ，Lederberg 也 需要 学 习 计算 方面 的 基础 知识 。 

Feigenbaum、Buchanan 和 Lederberg 组 成 团队 ， 最 终 成 功 开发 出 了 第 一 个 基于 知识 的 系 
统一 一 DENDRAL。 他 们 成 功 的 关键 在 于 将 所 有 相关 的 理论 知识 从 泛 化 形式 映射 到 极为 具体 的 规 
NC“ RARR” ) (Feigenbaum et al. ，1971)。 

DENDRAL 的 巨大 意义 可 以 归纳 为 如 下 几 点 : 

e DENDRAL 标志 着 人 工 智能 领域 重要 的 “范式 转移 ” ， 即 从 通用 的 、 知 识 稀 朴 型 弱 方 法 转 

移 到 针对 特定 领域 的 知识 密集 型 技术 。 

e DENDRAL 项 目的 目标 是 设计 出 能 达到 有 经 验 的 化 学 家 水 平 的 计算 机 程序 。 通 过 提取 人 类 

专家 知识 ， 并 表达 为 高 质量 的 具体 规则 (经 验 法 则 ) DENDRAL 团队 使 用 这 种 启发 式 策 

略 证 明了 计算 机 在 特定 、 可 定义 的 问题 领域 能 达到 专家 水 平 。 

e DENDRAL 为 专家 系统 开创 了 新 的 方法 论 ， 即 知识 工程 ， 它 包含 了 对 专家 知识 从 获取 、 分 

析 到 用 规则 表达 等 一 系列 技术 。 

DENDRAL 后 来 成 为 化 学 家 们 有 用 的 分 析 工 具 ， 并 在 美国 成 为 商业 产品 被 投放 到 市 场 。 

Feigenbaum 和 来 自 斯 坦 福 大 学 的 人 员 接 下 来 承担 了 医疗 诊断 方面 的 一 个 重大 项 目 ， 这 个 项 目 
名 为 MYCIN， 始 于 1972 年 ， 后 来 成 为 Edward Shortliffe 的 博士 论题 (Shortliffe, 1976), MYCIN 
是 基于 规则 的 专家 系统 ， 它 的 任务 是 诊断 传染 性 的 血液 病 ， 它 还 以 一 种 便捷 、 用 户 友 好 的 方式 为 
医生 提供 治疗 建议 。 

MYCIN 与 早期 专家 系统 具有 若干 相同 特点 : 

© MYCIN 的 性 能 相当 于 人 类 专家 水 平 ， 并 高 于 初级 医生 的 水 平 。 . 

e MYCIN 包含 了 450 条 独立 的 IF-THEN 形式 的 规则 ， 这 些 知识 是 通过 访问 特定 领域 的 大 量 

专家 获得 的 。 

e 以 规则 形式 表达 的 知识 与 推理 机 制 明 确 地 分 开 了 。 系 统 研发 员 也 能 够 轻易 地 通过 插 人 、 删 

除 规则 来 操纵 知识 。 例 如 ， 斯 坦 福 大 学 后 来 研发 了 一 个 独立 于 领域 知识 的 MYCIN 版 本 ， 
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称 为 EMYCIN (van Melle, 1979; van Melle et al. ，1981)。 它 除了 传染 性 血液 病 知 识 之 外 ， 
具有 MYCIN 的 一 切 特征 。EMYCIN 促进 了 诊断 方面 的 各 种 应 用 。 系 统 研 发 员 只 需 将 新 知 
识 以 规则 形式 添加 ， 就 能 实现 新 的 应 用 。 

与 早期 专家 系统 相 比 ，MYCIN 也 有 一 些 新 特点 。 例 如 ，MYCIN 的 规则 反映 了 知识 本 身 的 不 
确定 性 ， 这 里 是 指 医学 诊断 知识 。 它 在 可 利用 的 数据 或 医生 所 给 的 数据 上 测试 规则 的 条 件 部 分 
(下 部 分 ) 。 在 适当 时 候 ，MYCIN 使 用 名 为 确信 因子 的 不 确定 性 运算 推断 是 否 满足 条 件 。 考 虑 不 
确定 性 的 推理 是 这 个 系统 的 最 重要 的 特征 。 

另 一 个 被 广泛 关注 的 概率 系统 是 PROSPECTOR， 这 一 专家 系统 由 斯 坦 福 研究 院 开 发 ， 用 于 
矿产 勘探 (Duda et al. ，1979) 。 这 个 项 目 始 于 1974 年 ， 在 1983 年 结束 ， 有 9 位 专家 为 该 系统 提 
供 了 专业 知识 。PROSPECTOR 将 规则 和 语义 网 络 合并 到 一 个 结构 中 ， 以 表达 专家 知识 ， 并 使 用 
了 一 千 多 条 规则 来 表达 大 量 领域 知识 。 同 时 拥有 一 个 复杂 的 支持 包 ， 其 中 包括 知识 获取 系统 。 

PROSPECTOR 的 工作 原理 是 ， 首 先 让 作为 用 户 方 的 勘探 地 质 学 家 输入 待 检 矿 床 的 特征 ， 如 
地 址 环境 、 结 构 、 矿 物质 类 型 等 。 之后， 程序 将 这 些 特 征 与 矿床 模型 比较 ,必要 时 让 用 户 提供 更 
多 人 信息。 最后， 系统 对 待 检 矿床 做 出 结论 。 这 一 系统 也 能 够 解释 为 了 得 出 结论 所 用 到 的 步 又 。 

在 勘探 地 质 学 领域 ， 重 要 决策 常常 是 在 由 于 知识 不 完整 或 模糊 而 导致 不 确定 性 的 情况 下 做 
出 的 。 为 了 处 理 这 类 知识 ，PROSPECTOR 使 用 论据 贝 叶 斯 规则 在 系统 中 传送 不 确定 性 。 它 的 性 
能 达到 了 专业 地 质 学 家 的 水 平 ， 并 且 在 实践 中 得 到 了 验证 。 在 1980 年 ， 用 它 识别 出 了 华盛顿 州 
Tolman 山 附近 的 一 个 钼 矿床 。 随 后 一 个 采矿 公司 对 这 个 矿床 开采 时 证 实 这 个 矿床 价值 一 亿美 元 。 
真是 难以 想象 专家 系统 能 有 如 此 价值 。 

上 面 所 提 到 的 几 个 专家 系统 现在 已 成 为 经 典 之 作 。20 世纪 70 年 代 后 期 ， 专家 系统 越 来 越 多 
地 被 成 功 应 用 ， 这 表明 能 够 将 人 工 智能 技术 从 实验 室 成 功 地 移植 到 商业 领域 。 不 过 ， 这 一 时 期 大 
部 分 专家 系统 都 是 在 功能 强大 的 工作 站 上 ， 采 用 特殊 的 人 工 智能 语言 开发 的 ， 例 如 LISP, PRO- 
LOG 以 及 OPS。 昂 贵 的 硬件 和 复杂 的 程序 语言 意味 着 专家 系统 的 开发 工作 只 能 由 个 别 院 校 的 研究 
组 做 ， 像 斯 坦 福 大 学 、 麻 省 理工 学 院 、 斯 坦 福 研究 院 和 卡 内 基 - EK. BIT 20 世纪 80 年 
代 , 个 人 电脑 和 易 用 的 专家 系统 开发 工具 框架 的 出 现 ， 才 使 得 普通 的 研究 者 和 各 个 领域 的 工程 
师 都 有 机 会 开发 专家 系统 。 

1986 年 的 一 份 综述 报告 汇总 了 大 量 成 功 应 用 于 不 同 领 域 的 专家 系统 ， 所 应 用 的 领域 包括 化 
学 、 电 子 、 工 程 、 地 质 、 管 理 、 医 药 、 过 程控 制 和 军事 科学 ， 等 等 (Waterman，1986)。 尽 管 如 
IE, Æ Waterman 发 现 的 将 近 200 个 专家 系统 中 ， 大 部 分 还 是 应 用 在 医学 诊断 领域 。7 年 后 另 一 篇 
综述 汇总 了 2500 多 个 开发 完毕 的 专家 系统 (Durkin, 1994) 。 新 兴 的 应 用 领域 是 商业 和 制造 业 ， 
占 了 总 应 用 的 60% 。 此 时 专家 系统 技术 已 经 成 熟 。 

专家 系统 在 任何 领域 都 是 成 功 的 关键 吗 ? 虽然 有 了 大 量 的 专家 系统 ， 并 且 在 不 同 知识 领域 
得 以 成 功 地 应 用 ,但 高 估 这 -一 技术 的 能 力 是 不 对 的 。 在 技术 和 社会 学 两 个 层面 都 存在 复杂 的 困 
难 ， 这 些 困 难 包 括 : 

e 专家 系统 局 限于 非常 狭窄 的 专业 领域 。 例 如 ， 虽 然 MYCIN 的 任务 是 诊断 传染 性 血液 病 ， 
却 没有 人 体 生 理学 的 知识 。 如 果 病 人 的 病 不 止 一 个 ， 就 不 能 指望 MYCIN 了 。 事 实 上 ， 当 
病人 伴随 其 他 疾病 时 ， 使 用 MYCIN 开 的 治疗 血液 病 的 处 方 甚至 可 能 是 有 害 的 。 

e 由 于 局 限于 狭窄 的 领域 ， 专 家 系统 并 不 能 如 用 户 所 愿 的 那样 健壮 灵活 。 并 且 ， 专 家 系统 难 
以 识别 领域 界限 。 当 一 项 任务 不 同 于 传统 问题 时 ， 专 家 系统 可 能 在 尝试 解决 时 出 平 意 料 地 
失败 。 

e 专家 系统 的 解释 能 力 有 限 。 虽 然 能 够 显示 解决 方案 中 应 用 的 一 系列 规则 ， 却 无 法 将 累积 的 
启发 式 知识 与 对 问题 领域 的 深层 理解 关联 起 来 。 


[12] 
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e 专家 系统 难以 检验 验证 。 至 今 都 没有 开发 出 通用 的 技术 来 分 析 专 家 系统 的 完整 性 和 一 致 
性 。 启 发 式 规则 以 抽象 形式 表达 知识 ， 缺 乏 对 领域 的 基本 理解 ， 这 使 得 识别 错误 的 、 不 完 
整 或 不 一 致 的 知识 的 工作 非常 困难 。 

e 专家 系统 几乎 不 具备 从 它们 的 经 验 中 去 学 习 的 能 力 ， 尤 其 是 第 一 代 专 家 系统 。 专 家 系统 的 
开发 相对 独立 而 且 开发 过 程 慢 。 解 决 一 个 中 等 难度 的 问题 要 花费 5 ~ 10 人 年 的 时 间 
(Waterman ,1986 ) 。 而 像 DENDRAL, MYCIN 或 PROSPECTOR 之 类 的 复杂 系统 需要 超过 30 
人 年 的 开发 时 间 。 如 果 专 家 系统 的 完善 依赖 于 它 的 开发 者 进一步 关注 ， 那 么 这 些 巨大 的 投 
人 将 难以 评估 。 

尽管 面临 这 么 多 的 困难 ， 专 家 系统 的 研究 还 是 有 了 很 大 突破 ， 并 在 若干 重要 应 用 中 证 明了 

它 的 价值 。 


1.2.5 如 何 使 机 器 学 习 ,. 神经 网 络 的 重生 (20 世纪 80 年 代 中 期 至 今 ) 


在 20 世纪 80 年 代 中 期 ,研究 者 、 工 程 师 以 及 专家 们 意识 到 ， 购 买 一 个 推理 系统 或 专家 系统 
框架 ,再 往 里 填充 足够 的 规则 ， 并 不 足以 构造 一 个 专家 系统 。 应 用 专家 系统 技术 的 幻想 破灭 ， 对 
人 工 智能 项 目的 资助 也 严重 紧缩 ， 甚 至 导致 人 们 开始 预测 人 工 智能 的 “冬季 ”将 要 到 来 。 人 工 
智能 研究 者 们 决定 重新 审视 神经 网 络 。 

到 20 世纪 60 年 代 后 期 ， 神 经 计算 所 需 的 基本 理论 和 概念 大 部 分 都 已 经 成 型 (Cowan, 
1990) 。 但 是 ， 直 到 20 世纪 80 年 代 中 期 才 出 现 解决 方案 ， 灌 后 的 主要 原因 在 于 技术 层面 : 没有 
个 人 电脑 或 功能 强大 的 工作 站 ， 所 以 无 法 对 人 工 神经 网 络 建 模 和 实验 。 还 有 心理 学 和 资金 方面 
的 原因 。 例 如 ， 在 1969 年 ，Minsky 和 Papert 就 用 数学 方法 论证 了 单 层 感知 器 具有 根本 的 计算 局 
限 性 (Minsky and Papert, 1969), ， 他 们 还 认为 即使 复杂 的 多 层 感 知 器 也 不 见得 更 好 。 这 显然 不 会 
激励 人 去 研究 感知 器 ， 这 种 情况 导致 在 20 世纪 70 年代 几 乎 所 有 的 人 工 智 能 研究 者 都 放弃 了 人 工 
神经 网 络 领域 。 . | 

在 20 世纪 80 年代， 由 于 需要 像 大 脑 那 样 进行 信息 处 理 ， 以 及 计算 机 技术 的 发 展 和 神经 科学 
的 进步 ， 神 经 网 络 领域 快速 复苏 了 。 在 几 个 前 沿 领 域 ,科学 家 们 在 理论 和 设计 上 都 做 了 重大 贡 
BK, Grossberg 创建 了 自 组 织 的 新 理论 (adaptive resonance theory， 自 适应 共振 理论 ) ， 这 为 一 种 新 
的 神经 网 络 葛 定 了 基础 (Grossberg，1980 ) Hopfield 引入 了 具有 反馈 机 制 的 神经 网 络 ， 即 
Hopfield 网 络 (Hopfield networks，Hopfield，1982) ， 在 20 Ht% 80 年 代 引 起 了 广泛 关注 。Kohonen 
发 表 了 一 篇 关于 自 组 织 上 映射 的 文章 (Kohonen, 1982), Barto, Sutton 和 Anderson 发 表 了 关于 增强 
学 习 (reinforcement learning) 和 在 控制 领域 的 应 用 的 文章 (Barto et al. ，1983 ) 。 但 真正 的 突破 
是 在 1986 年 ，Rumelhart 和 McClelland 在 《并 行 分 布 式 处 理 : 对 认 知 微 结 构 的 探索 》 一 文中 ， 重 
新 提出 了 反 向 传播 学 习 算 法 ( back- propagation learning algorithm) ( Rumelhart and McClelland, 
1986) ， 这 一 算法 由 Bryson 和 Ho 在 1969 年 首次 提出 (Bryson and Ho, 1969), Parker (Parker, 
1987) 和 LeCun (LeCun, 1988) 在 同一 时 间 也 提出 了 反 向 传播 学 习 算法 ， 从 此 这 一 算法 成 为 用 
于 训练 多 层 感知 器 的 最 流行 的 技术 。 在 1988 4E, Broomhead 和 Lowe 提出 了 使 用 径 向 基 孙 数 设计 
多 层 前 馈 网 络 的 程序 ， 这 是 多 层 感知 器 的 替代 (Broomhead and Lowe, 1988) 。 

从 McCulloch 和 Pitts 提出 的 早期 模型 ， 发 展 为 根植 于 神经 科学 、 心 理学 、 数 学 和 工程 的 交叉 
学 科 ， 人 工 神经 网 络 经 过 了 一 个 漫长 的 历程 ， 并 在 理论 和 应 用 两 方面 还 会 继续 发 展 。 无 论 如 何 ， 
对 于 20 世纪 80 年 代 神 经 网 络 的 重生 ，Hopfield 的 文章 (Hopfield，1982)、Rumelhart 和 McClel- 
land 的 书 (Rumelhart and McClelland, 1986) 具有 最 重要 、 最 具 影 响 的 意义 。 
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1.2.6 进化 计算 ， 在 尝试 中 学 习 (20 世纪 70 年 代 早 期 至 今 ) 


自然 界 的 智能 是 进化 的 产物 。 因 此 ， 通 过 模拟 生物 进化 ， 我 们 有 和 希望 找 出 将 现 有 的 系统 推 向 
高 水 平 智能 的 方法 。 自 然 界 是 在 尝试 中 学 习 的 ， 并 没有 外 界 告诉 生物 系统 如 何 适应 具体 环境 ， 这 
是 物 竞 天 择 的 过 程 。 适 应 性 最 强 的 物种 更 有 机 会 繁衍 ， 并 将 基因 遗传 给 下 一 代 。 

人 工 智能 中 的 进化 方法 是 基于 自然 选择 和 遗传 的 计算 模型 。 进 化 计算 的 工作 流程 包括 模拟 
由 个 体 组 成 的 种 群 、 评 估 个 体 性 能 、 产 生 下 一 代 种 群 ， 这 一 过 程 需要 迭代 若干 次 。 

进化 计算 主要 包括 3 个 主要 技术 : 遗传 算法 、 进 化 策略 以 及 遗传 编程 。 

遗传 算法 是 John Holland 在 20 世纪 70 年 代 早 期 提出 的 (Holland，1975)。 他 设计 了 一 个 包 
FEUER, ACM, BHI 个 遗传 操作 的 算法 ， 用 于 操纵 人 人工“ 染色 体 ” (表达 为 二 进 制 字符 串 ) 。 
模式 定理 是 遗传 算法 的 坚实 的 理论 基础 (Holland, 1975; Goldberg, 1989), 

在 Holland 的 遗传 算法 之 前 ， 早 在 20 世纪 60 年 代 早 期 ， 两 个 来 自 柏林 科技 大 学 的 学 生 Ingo 
Rechenberg 和 Hans-Paul Schwefel 提出 了 一 个 新 的 名 为 进化 策略 (evolutionary strategies) 的 优化 方 
法 (Rechenberg，1965 ) 。 进 化 策略 的 具体 任务 是 解决 工程 设计 中 的 参数 优化 问题 。Rechenberg 
和 Schwefel 建议 ， 像 自然 界 变异 那样 对 参数 随机 变化 。 事 实 上 ， 可 将 进化 策略 方法 视 为 工程 师 直 
党 的 替代 物 。 进 化 策略 使 用 一 种 数值 优化 过 程 ， 类 似 于 蒙特 卡 洛 搜索 方法 。 

遗传 算法 和 进化 策略 都 可 以 解决 广泛 的 问题 。 这 两 个 方法 为 之 前 根本 无 法 解决 的 高 度 复杂 
的 非 线 性 搜索 和 优化 问题 提供 了 健壮 、 可 靠 的 解决 方案 (Holland, 1995; Schwefel, 1995) 。 

遗传 编程 代表 了 将 学 习 式 的 遗传 模型 在 程序 设计 中 的 应 用 ， 它 的 目的 并 不 是 推出 问题 的 编码 表 
示 ， 而 是 推出 用 以 解决 问题 的 计算 机 代码 。 就 是 说 ， 遗 传 编程 的 目的 是 产生 解决 问题 的 计算 机 程序 。 

20 世纪 90 年 代 John Koza 的 工作 极 大 促进 了 人 们 对 遗传 编程 的 兴趣 (Koza, 1992; 1994), 
他 使 用 遗传 算 子 来 操纵 表示 LISP 程序 的 符号 码 。 遗 传 编程 为 计算 机 科学 领域 的 主要 问题 提供 了 
解决 方案 ， 使 计算 机 不 需 通 过 精确 编程 就 能 解决 问题 。 

遗传 算法 、 进 化 策略 和 遗传 编程 标志 着 人 工 智能 学 科 的 快速 成 长 ， 并 且 具 有 巨大 的 发 展 空间 。 


1.2.7 知识 工程 的 新 纪元 ， 文 字 计算 (20 世纪 80 年 代 后 期 至 今 ) 


与 基于 符号 推理 的 系统 相 比 ， 神 经 网 络 的 技术 提供 了 与 现实 世界 更 加 自然 的 交互 。 神 经 网 
络 能 够 学 习 、 适 应 问题 环境 的 变化 ， 能 在 规则 未 知 的 情形 下 构建 模式 ， 并 能 处 理 模 糊 、 不 完整 的 
信息 。 但 是 神经 网 络 的 解释 功能 差 ， 像 黑匣子 一 样 工 作 。 用 现 有 的 技术 来 训练 神经 网 络 很 耗 时 ， 
而 且 频 繁 的 重新 训练 还 会 导致 严重 的 困难 。 

尽管 在 一 些 特殊 的 环境 ， 尤 其 是 缺少 知识 的 环境 中 ， 人 工 神经 网 络 能 比 专家 系统 更 好 地 解 
决 问题 ， 但 这 两 个 技术 发 展 到 现在 已 不 再 彼此 竞争 ， 而 是 互补 。 

传统 的 专家 系统 很 适用 于 具有 精确 输入 和 逻辑 输出 的 封闭 式 系统 的 应 用 。 这 类 系统 使 用 表 
达 为 规则 形式 的 专家 知识 ， 必 要 时 还 可 以 与 用 户 交互 以 构建 特定 的 事实 。 这 类 系统 的 主要 缺点 
在 于 人 类 专家 并 不 总 能 用 规则 表达 知识 或 逐条 解释 推理 ， 从 而 会 妨碍 专家 系统 积累 必需 的 知识 ， 
最 终 导 致 失败 。 为 了 克服 这 个 缺陷 ， 可 使 用 神经 计算 从 大 数据 集中 抽取 隐 含 的 知识 以 获取 专家 
系统 的 规则 (Zahedi, 1993; Medsker and Leibowitz, 1994) 。 在 传统 的 基于 规则 的 专家 系统 中 也 
可 以 使 用 人 工 神 经 网 络 来 校正 规则 (Omlin and Giles ，1996 ) 。 换 句 话说， 当 得 到 的 知识 不 完整 
时 ， 可 以 用 神经 网 络 精炼 知识 ， 当 知识 与 给 定 的 数据 不 一 致 时 ， 可 使 用 神经 网 络 修改 规则 。 

另 一 个 非常 重要 的 技术 是 模糊 壳 辑 ， 用 于 处 理 模 糊 、 不 精确 、 不 确定 的 知识 和 数据 。 传 统 的 
专家 系统 中 ， 用 于 处 理 不 精确 数据 的 大 部 分 方法 都 是 基于 概率 论 思想 ， 如 MYCIN 就 引入 了 确信 
AA, PROSPECTOR 则 使 用 了 贝 叶 斯 规则 来 传送 不 确定 性 。 不 过 ， 专 家 们 并 不 总 是 使 用 概率 值 ， 
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而 会 使 用 “常常 、 一 般 地 、 有 时 、 偶 尔 、 极 少 ” 之 类 的 术语 。 模 糊 逻辑 正 是 关于 模糊 值 使 用 的 
方法 ， 模 糊 值 用 于 理解 单词 含义 、 人 类 推理 、 制 定 决策 。 模 糊 逻 辑 以 能 精确 反映 专家 对 复杂 难题 
的 理解 的 形式 ， 对 人 类 知识 进行 编码 和 应 用 ， 从 而 为 打破 传统 专家 系统 的 计算 瓶颈 提供 了 一 个 
可 行 的 方法 。 

模糊 逻辑 的 核心 在 于 语言 变量 这 一 概念 。 语 言 变量 的 值 是 文字 ， 而 不 是 数值 。 模 糊 系 统 使 用 
IF-THEN 规则 来 体现 人 类 知识 ， 这 点 与 专家 系统 类 似 ， 只 是 模糊 系统 的 规则 是 模糊 的 ， 例 如 : 


IF speed is high THEN stopping distance is long 
IF speed is low THEN stopping distance is short 
模糊 逻辑 或 模糊 集 理论 是 由 加 州 大 学 伯克利 分 校 电 子 工程 系 主 任 Lotfi Zadeh 教授 在 1965 年 
提出 的 (Zadeh，1965 ) ， 它 提供 了 一 种 采用 文字 进行 计算 的 方法 。 然 而 ,模糊 集 理论 被 技术 团体 
接受 的 过 程 却 很 困难 和 漫长 ， 部 分 原因 在 于 具有 争议 的 名 字 “ 模 糊 ”， 这 个 名 字 似 乎 太 随意 而 难 
以 被 认真 对 待 。 模 糊 理 论 虽 然 在 西方 被 忽视 ， 却 在 东方 的 日 本 被 接纳 了 。 自 1987 年 起 ， 模 糊 理 
论 被 成 功 地 应 用 在 日 本 人 设计 的 洗 碗 机 、 洗 衣 机 、 空 调 、 电 视 机 、 复 印 机 和 汽车 上 。 

模糊 产品 的 出 现 使 得 这 一 看 似 新 颖 而 在 30 年 前 就 被 提出 的 技术 受到 极 大 关注 ， 成 百 上 后 的 
书籍 和 学 术 论文 相继 诞生 。 一 些 经 典 著 述 包 括 :《Ruzzy Sets, Neural Networks and Soft Computing 》 
(Yager and Zadeh, eds, 1994); (The Fuzzy Systems Handbook) (Cox, 1999); (Fuzzy Engineer- 
ing) (Kosko, 1997); (Expert Systems and Fuzzy Systems) ( Negoita, 1985); 以 及 畅销 书 《Fuzzy 
Thinking) (Kosko, 1993) ， 这 本 书 对 模糊 逻辑 进行 了 普及 性 介绍 。 

模糊 逻辑 主要 应 用 在 控制 工程 领域 。 不 过 ， 模 糊 控制 系统 仅 使 用 了 模糊 逻辑 知识 表达 的 一 
小 部 分 功能 。 模 糊 逻 辑 在 基于 知识 的 系统 和 决策 支持 系统 中 的 应 用 优势 可 归纳 如 下 (Cox， 
1999; Pedrycz and Gomide, 2007; Turban el al. , 2010) : 

® 提高 了 计算 能 力 。 基 于 规则 的 模糊 系统 比 传 统 专 家 系统 运算 快 ， 需要 的 规则 也 少 。 模 糊 专 
家 系统 通过 合并 规则 使 系统 功能 更 强 。Lotfi Zadeh 认为 用 不 了 几 年 ， 多 数 专家 系统 都 将 使 
用 模糊 逻辑 来 解决 高 度 非 线性 问题 和 计算 困难 的 问题 。 

e 改善 了 认 知 模型 。 模 糊 系统 允许 以 能 反映 专家 思考 复杂 问题 的 形式 对 知识 编码 。 专 家 在 思 
考 复杂 问题 时 ， 会 用 到 不 精确 术语 ， 例 如 高 和 低 、 快 和 慢 、 轻 和 重 ， 也 用 使 用 术语 常常 和 
几乎 不 、 通 常 和 很 少 、 频 繁 和 偶尔 。 在 建立 传统 的 规则 时 ， 需 要 对 术语 定义 严格 的 界限 ， 
这 就 把 专业 知识 分 解 成 了 知识 片段 。 当 传统 的 专家 系统 面 对 高 度 复杂 问题 时 ， 知 识 片 段 将 
导致 系统 性 能 低下 。 相 反 地 ， 模 糊 专家 系统 通过 对 不 精确 信息 建 模 ， 就 能 以 更 接近 专家 思 
考 的 方式 捕捉 专业 知识 ， 从 而 改善 了 系统 的 认 知 建 模 。 

@ 能 够 表达 多 个 专家 。 传 统 的 专家 系统 建立 在 非常 狭窄 的 、 被 明确 定义 的 专业 知识 领域 ， 系 
统 性 能 完全 依赖 于 能 和 否 正确 选择 专家 。 尽 管 一 般 的 策略 是 只 选 定 一 个 专家 ， 但 是 当 构造 更 
复杂 的 专家 系统 或 专业 知识 不 能 被 较 好 地 定义 时 ， 就 需要 多 个 专家 。 多 个 专家 能 够 扩展 领 
域 ， 综 合 经 验 ， 并 且 避 免 了 对 顶级 专家 的 依赖 ， 顶 级 专家 一 般 费 用 昂贵 且 难 以 联系 到 。 不 
过 ， 多 个 专家 极 难 达成 一 致意 见 ， 他 们 的 意见 常常 不 同 甚 至 有 冲突 。 在 经 济 和 管理 领域 ， 
当 没 有 简单 方案 而 又 需 考虑 各 种 具有 冲突 的 观点 时 尤其 如 此 。 模 糊 专家 系统 有 助 于 表达 意 
见 相左 的 多 个 专家 的 专业 知识 。 

尽管 模糊 系统 允许 以 更 自然 的 方式 表达 专家 知识 ， 但 是 它们 仍 依赖 来 自 专家 提炼 的 规则 ， 

因而 系统 有 聪明 的 ， 也 有 笨拙 的 。 有 些 专家 能 够 提供 非常 聪明 的 模糊 规则 ， 有 些 专家 只 会 猜测 或 
提供 错误 的 规则 。 所 以 ， 所 有 的 规则 必须 经 过 测试 、 调 整 ， 这 一 过 程 可 能 会 漫长 又 乏味 。 例 如 ， 
日 立 公司 的 工程 师 们 用 了 好 几 年 时 间 才 测试 、 调 整 了 仙台 地 铁 系 统 上 的 54 条 模糊 规则 。 

借助 模糊 逻辑 开发 工具 ， 能 够 轻松 地 构造 出 一 个 简单 的 模糊 系统 ， 但 之 后 很 可 能 要 花费 几 
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天 、 几 个 星期 甚至 几 个 月 来 测试 新 规则 并 调整 系统 。 怎 样 加 快 这 个 过 程 呢 ? 或 者 ， 怎 样 自动 产生 
好 的 模糊 规则 呢 ? 

近年 来 ， 一 些 基 于 神经 网 络 技术 的 方法 已 被 用 于 在 数值 数据 中 寻找 模糊 规则 。 自 适应 或 神 
经 -模糊 系统 能 够 发 现 新 的 模糊 规则 ， 或 者 基于 提供 的 数据 来 调整 已 有 的 规则 。 换 言 之 ， 即 是 输 
入 数据 - 输出 规则 ， 或 者 输入 经 验 - 输出 规律 。 

那么 知识 工程 将 向 什么 方向 发 展 呢 ? 

专家 系统 、 神 经 系统 和 模糊 系统 目前 已 经 成 熟 ， 并 被 广泛 应 用 于 多 个 领域 处 理 不 同 问题 ， 主 
要 在 工程 、 医 药 、 金 融 、 商 业 和 管理 等 领域 。 各 个 技术 在 处 理 人 类 知识 的 不 确定 性 和 模糊 性 上 都 
各 有 方法 ， 在 知识 工程 领域 都 占有 一 席 之 地 。 这 3 个 技术 之 间 不 再 竞争 ， 而 是 互相 配合 。 在 专家 
系统 中 融入 模糊 逻辑 和 神经 计算 ， 能 够 提高 基于 知识 系统 的 自 适应 性 、 鲁 棒 性 、 容 错 能 力 和 运算 
速度 。 此 外 ， 利 用 文字 进行 计算 使 得 系统 更 加 “人 性 化 ”。 在 构造 智能 系统 时 ， 使 用 现 有 理论 而 
非 提 出 新 理论 已 成 为 惯例 。 应 用 目标 也 不 青 限于 简单 的 小 问题 ， 而 是 实在 的 现实 问题 。 


1.3 小 结 

我 们 处 在 知识 革新 的 时 代 ， 在 这 个 时 代 ， 一 个 国家 的 实力 不 是 由 军队 的 士兵 数量 来 决定 ， 而 
是 由 这 个 国家 所 拥有 的 知识 来 决定 。 科 学 、 医 药 、 工 程 和 商业 一 方面 推动 着 国家 朝 更 高 质量 的 生 
活 发 展 ， 一 方面 也 需要 高 素质 的 人 。 当 前 我 们 已 开始 使 用 智能 机 器 从 知识 渊博 的 人 身上 获取 经 
验 知识 ， 并 让 机 器 像 人 那样 进行 推理 。 

在 第 一 台 计 算 机 发 明之 前 ， 对 智能 机 器 的 淘 求 仅仅 是 一 个 渺茫 的 梦 。 虽 然 早 期 的 计算 机 按 
照 特 定 的 算法 能 够 有 效 操作 大 型 数据 库 ， 却 不 能 对 提供 的 信息 进行 推理 ， 因 而 引发 了 计算 机 能 
否 思考 的 问题 。 阿 兰 ， 图 灵 将 计算 机 的 智能 行为 定义 为 在 认 知 任务 中 达到 人 类 同等 水 平 的 能 力 。 
图 灵 测 试 为 基于 知识 的 系统 提供 了 检验 和 验证 的 基础 。 

1956 年 ， 在 达 特 茅 斯 学 院 召 开 的 暑期 研讨 会 将 10 个 对 机 器 智能 感 兴趣 的 研究 者 聚 到 了 一 
起 ， 一 门 新 学 科 一 一 人 工 智 能 诞生 了 。 

自从 20 世纪 50 年 代 早期 ， 人 工 智能 技术 从 个 别 研究 者 的 好 奇 开始 ， 发 展 为 帮助 人 类 决策 的 
有 价值 的 工具 。 从 20 世纪 60 年 代 关于 人 工 智 能 的 伟大 幻想 和 期 待 ， 到 20 世纪 70 年 代 早 期 对 人 
工 智 能 的 幻灭 和 资助 削减 ; 从 20 世纪 70 年 代 的 第 一 代 专 家 系统 的 开发 ， 如 DENDRAL, MYCIN 
和 PROSPECTOR， 到 20 世纪 八 九 十 年 代 专 家 系统 的 成 熟 以 及 在 不 同 领域 的 广泛 应 用 ; 从 20 世纪 
40 年 代 所 提 的 简单 的 二 进 制 神经 元 模型 ， 到 20 世纪 80 年 代 人 工 神经 网 络 的 戏剧 性 复活 ; 从 20 
世纪 60 年 代 所 提出 的 模糊 集 理 论 在 西方 被 忽视 ， 到 20 世纪 80 年 代 由 日 本 提供 的 大 量 的 “模糊 
型 ”消费 品 ， 以 及 20 世纪 90 年 代 软 计算 和 用 文字 计算 被 全 世界 接受 ; 这 些 事件 使 我 们 看 到 了 人 
工 智 能 的 历史 性 发 展 周期 。 

专家 系统 的 发 展 创立 了 知识 工程 ， 它 是 一 种 构建 智能 系统 的 过 程 。 如 今 知识 工程 不 仅 涉 及 
专家 系统 ， 还 涉及 神经 网 络 和 模糊 逻辑 。 知 识 工程 仍然 是 一 门 艺术 ， 而 非 工 程 ， 但 人 们 已 经 党 
使 用 神经 网 络 技术 从 数值 数据 中 自动 抽取 规则 。 

表 1.1 总 结 了 人 工 智能 和 知识 工程 发 展 历程 中 的 关键 事件 ， 涵 盖 范 围 从 1943 年 McCulloch 和 
Pitts 在 人 工 智 能 上 的 初次 尝试 ， 到 近年 来 的 用 文字 计算 的 基于 知识 的 系统 中 将 专家 系统 、 模 糊 逻 
辑 和 神经 计算 进行 合并 ， 从 而 各 取 所 长 。 

本 章 的 主要 内 容 包 括 : 

e 智能 是 指 学 习 和 理解 问题 、 解 决 问题 、 制 定 决 策 的 能 力 。 

e 人 工 智能 是 使 机 器 像 人 那样 用 智能 做 事 的 一 门 学 科 。 

e 如 果 机 器 在 某 些 认 知 任务 中 能 达到 人 类 同等 水 平 ， 它 就 是 智能 机 器 。 在 建造 智能 机 器 时 ， 


[19] 
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我 们 必须 捕捉 、 组 织 和 使 用 特定 问题 领域 的 人 类 专家 知识 。 

e 必须 严格 限制 智能 机 器 的 问题 域 ， 对 此 的 确认 标志 着 人 工 智能 从 泛 化 的 、 知 识 稀 下 的 弱 方 法 向 
具体 领域 的 知识 密集 型 方法 的 重大 “范式 转移 ”。 这 一 转移 促成 了 专家 系统 的 发 展 ， 从 而 使 计 
算 机 程序 的 性 能 在 狭窄 问题 领域 达到 人 类 专家 水 平 。 专 家 系统 以 特定 规则 的 形式 使 用 人 类 知识 
和 经 验 ， 主 要 特征 表现 在 对 知识 和 推理 机 制 的 明确 划分 。 专 家 系统 更 能 解释 推理 过 程 。 


时 期 


人 工 智能 的 诞生 
(1943 ~ 1956 年 ) 


人 工 智能 的 崛起 
(1956 年 ~20 世纪 
60 年 代 晚 期 ) 


表 1.1 人 工 智能 和 知识 工程 发 展 历程 中 主要 事件 一 览 表 
主要 事件 


McCulloch and Pitts, A Logical Calculus of the Ideas Immanent in Nervous Activity, 1943 
Turing, Computing Machinery and Intelligence, 1950 


电子 数据 集成 器 和 计算 器 项 目 (von Neumann) 

Shannon, Programming a Computer for Playing Chess, 1950 

在 达 特 茅 斯 学 院 举行 的 机 器 智能 、 人 工 神经 网 络 和 自动 化 理论 暑期 研讨 会 ，1956 
LISP (McCarthy ) 

通用 问题 解决 方案 (GPR) 项 目 (Newell and Simon) 

Newell and Simon, Human Problem Solving , 1972 

Minsky, A Framework for Representing Knowledge, 1975 





人 工 智能 的 幻灭 
(20 世纪 60 年 代 晚 期 ~ 
20 世纪 70 年代 早期 ) 


Cook, The Complexity of Theorem Proving Procedures, 1971 
Karp, Reducibility Among Combinatorial Problems, 1972 
Lighthill 报告 , 1971 








专家 系统 的 发 明 
(20 tit£d 70 年 代 早 期 ~ 
20 世纪 80 年 代 中 期 ) 


人 工 神 经 网 络 的 重生 
(20 世纪 80 年 代 
中 期 至 今 ) 


进化 计算 (20 世纪 
70 年 代 早 期 至 今 ) 


用 文字 计算 
(20 世纪 80 年 代 
晚期 至 今 ) 


DENDRAL (Feigenbaum, Buchanan and Lederberg， 斯 坦 福 大 学 ) 

MYCIN (Feigenbaum and Shortlife， 斯 坦 福 大 学 ) 

PROSPECTOR (斯 坦 福 大 学 研究 院 ) 

PROLOG 一 一 一 种 你 辑 编 程 语言 (Colmerauer, Roussel and Kowalski, France) 
EMYCIN (斯 坦 福 大 学 ) 

Waterman, A Guide to Expert Systems, 1986 


Hopfield, Neural Networks and Physical Systems with Emergent Collective Computational 
Abilities, 1982 

Kohonen, Self- Organized Formation of Topologically Correct Feature Maps, 1982 

Rumelhar 和 McClelland, Parallel Distributed Processing, 1986 

首届 IEEE 神经 网 络 国际 会 议 

Haykin, Neural Networks, 1994 

神经 网 络 ，MATLAB 应 用 工具 箱 (The MathWorks, Inc. ) 

Rechenberg, Evolutionsstrategien - Optimierung Technischer Systeme Nach Prinzipien der Biologischen 
Information , 1973 

Holland, Adaptation in Natural and Artificial Sysiems, 1975 

Koza, Genetic Programming; On the Programming of the Computers by Means of Natural Selection , 
1992 

Schwefel, Evolution and Optimum Seeking , 1995 

Fogel, Evolutionary Computation-Towards a New Philosophy of Machine Intelligence, 1995 





Zadeh, Fuzzy Sets, 1965 
Zadeh, Fuzzy Algorithms, 1969 
Mamdani , Application of Fuzzy Logic to Approximate Reasoning Using Linguistic Synthesis, 1977 
Sugeno, Fuzzy Theory, 1983 
日 本 的 “模糊 型 ”消费 品 〈 洗 碗 机 、 洗 衣 机 、 空 调 、 电 视 机 、 复 印 机 ) 
仙台 地 铁 系统 (日 立 公司 , HÆ), 1986 
Negoita, Expert Systems and Fuzzy Systems, 1985 
首届 IEEE 神经 系统 国际 会 议 ，1992， 
Kosko, Fuzzy Thinking, 1993 
Yager and Zadeh, Fuzzy Sets, Neural Networks and Soft Computing , 1994 
Cox, The Fuzzy Systems Handbook, 1994 
Zadeh, Computing with Words-A Paradigm Shift, 1996 
模糊 逻辑 ，MATLAB 工具 箱 (The MathWorks, Inc. ) 
神经 网 络 ，MATLAB 工具 箱 (The MathWorks, Inc. ) 
伯克利 软 计算 倡议 组 织 
(BISC) http: //www-bisc. cs. berkeley. edu 
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e 构建 智能 机 器 面临 的 主要 问题 是 知识 获取 瓶颈 ， 即 从 人 类 专家 那里 获取 知识 ， 这 也 是 知识 
工程 的 主要 问题 。 

e 专家 在 思考 时 会 使 用 不 精确 的 术语 ， 如 常常 和 几乎 不 、 通 常 和 很 少 、 频 繁 和 偶尔 ， 也 会 使 
用 语言 变量 ， 如 高 和 低 、 快 和 慢 、 轻 和 重 。 模 糊 逻 辑 或 模糊 集 理论 为 用 文字 进行 计算 提供 
了 方法 。 模 糊 逻 辑 的 重心 是 使 用 模糊 值 ， 以 捕捉 和 理解 文字 含义 、 人 类 的 推理 和 决策 的 制 Zo 
定 ， 并 为 传统 专家 系统 在 计算 上 的 负担 问题 提供 了 突破 性 的 方法 。 

e 专家 系统 既 不 能 通过 经 验 学 习 、 也 不 能 通过 经 验 自我 完善 ， 多 由 个 人 开发 ， 后 续 发 展 也 需 
要 巨大 的 投入 ， 即 使 构建 中 型 专家 系统 也 需要 5 ~ 10 人 年 。 机 器 学 习 则 大 大 加 快 了 专家 系 
统 的 开发 进程 ， 通 过 加 入 新 规则 或 校正 已 有 规则 ， 也 提高 了 知识 的 质量 。 

e 人 工 神经 网 络 启发 于 生物 学 上 的 神经 网 络 ， 基 于 历史 事件 进行 学 习 ， 并 能 自动 生成 规则 ， 
由 此 避免 了 元 长 、 昂 贵 的 知识 获取 过 程 ， 以 及 相应 的 验证 、 调 整 过 程 。 

e 通过 对 专家 系统 、 人 工 神经 网 络 分 别 与 模糊 逻辑 的 集成 ， 提 高 了 基于 知识 的 系统 的 自 适 应 
性 、 容 错 能 力 和 运算 速度 。 


复习 题 


1 
1 
1 
1 
1 
1 
1. 
1 
1 
1. 
1. 
1. 


O 00-10 t SW He 


何 为 智能 ? 什么 是 机 器 的 智能 行为 ? 

描述 人 工 智能 中 的 图 灵 测 试 ， 并 从 现代 的 角度 证 明 它 的 有 效 性 。 

如 何 定义 人 工 智能 这 门 科学 ? 人 工 智能 何 时 诞生 ? 

什么 是 弱 方 法 ? 列举 20 世纪 70 年代 早期 AL 幻灭 的 主要 原因 。 

何 为 专家 系统 ? 弱 方 法 和 专家 系统 技术 的 主要 区 别 是 什么 ? 

列举 DENDRAL、MYCIN 和 PROSPECTOR 这 些 早期 专家 系统 的 共同 特征 。 
专家 系统 的 局 限 性 有 哪些 ? 

专家 系统 和 人 工 神经 网 络 之 间 的 区 别 是 什么 ? 

人 工 神经 网 络 在 20 世纪 80 年 代 复活 的 原因 是 什么 ? 


10 ”模糊 逻辑 的 建立 前 提 是 什么 ? 模糊 集 理 论 是 何 时 出 现 的 ? 


11 
12 


在 基于 知识 的 系统 中 应 用 模糊 逻辑 的 主要 优势 是 什么 ? 
合并 专家 系统 、 模 糊 逻 辑 和 神经 计算 的 系统 会 有 哪些 优势 ? [21 ] 
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基于 规则 的 专家 系统 


本 章 介绍 构建 知识 系统 的 常用 选择 : 基于 规则 的 专家 系统 。 


2.1 知识 概述 


在 20 世纪 70 年 代 ， 人 们 最 终 意识 到 ， 要 用 机 器 解决 智能 问题 ， 就 必须 先知 道 方案 。 也 就 是 
说 ， 人 必须 具备 特定 领域 的 知识 ， 知 道 如 何 做 。 

知识 是 什么 

知识 是 对 于 一 个 主题 或 一 个 领域 在 理论 或 实践 上 的 理解 ， 也 是 所 有 已 知 的 总 和 ， 显 然 ， 知 识 
就 是 力量 。 那 些 拥有 知识 的 人 称 为 专家 ， 他 们 是 所 在 组 织 中 重要 的 人 物 。 任 何 一 个 成 功 运营 的 公 
司 都 有 若干 一 流 的 专家 ， 没 有 他 们 公司 就 无 法 运营 下 去 。 

谁 可 称 为 专家 

任何 一 个 人 如 果 在 特定 领域 有 深厚 的 知识 (表现 在 事实 和 规则 两 方面 ) 和 强大 的 实践 经 验 ， 
都 被 认为 是 领域 专家 。 领 域 的 范围 有 所 限制 。 例 如 ， 发 电机 专家 也 许 对 变压器 仅 有 泛泛 的 了 解 ， 
人 寿 保 险 专家 或 许 对 不 动产 保险 政策 的 了 解 也 是 有 限 的 。 总 之 ， 专 家 能 熟练 地 做 别人 做 不 了 的 
事情 。 

专家 如 何 思考 

人 类 的 思维 活动 是 内 在 的 、 复 杂 的 ， 用 算法 表达 不 了 。 好 在 多 数 专家 能 以 规则 的 形式 表达 知 
识 ， 从 而 解决 问题 。 举 一 个 简单 的 例子 ， 假 设 你 遇 到 一 个 外 星人 ， 他 想 过 马路 。 你 是 否 帮 得 了 
他 ? 因为 有 多 年 过 马路 的 经 历 ， 这 一 方面 你 是 专家 。 所 以 你 有 能 力 就 此 教 外 星人 。 你 会 怎么 
做 呢 ? 

你 可 以 告诉 外 星人 ， 当 交通 灯 变 绿 时 ， 可 以 安全 地 过 马路 ， 当 交通 灯 变 红 时 , 就 必须 停止 。 
这 是 基本 规则 。 可 以 把 你 的 知识 简单 地 表达 为 如 下 句子 : 


IF the ‘traffic light’ is green 
THEN the action is go 


IF the ‘traffic light’ is red 
THEN the action is stop 


这 些 用 IF- THEN 表达 的 句子 称 为 产生 式 规则 或 规则 。 在 人 工 智 能 学 科 中 ， 规 则 是 最 常用 的 
知识 表达 的 方式 ， 可 以 定义 为 下 -THEN 语句 ，IF 部 分 是 给 定 的 信息 或 事实 ，THEN 部 分 则 是 相 
应 的 行为 。 规 则 用 于 描述 如 何 解决 问题 ， 创 建 简单 ， 也 易于 理解 。 


2.2 知识 表达 技术 一 一 规则 
任何 规则 都 包括 两 部 分 : IF 部 分 和 THEN 部 分 。IF 部 分 是 前 项 〈 前 提 或 条 件 ) THEN 部 分 
是 后 项 〈 结 论 或 行为 ) 。 


规则 的 基本 语法 是 : 
IF < 前 项 > 
THEN < 后 项 > 


一 般 而 言 ， 规 则 可 以 有 多 个 前 项 ,这些 前 项 用 关键 词 AND (AR), OR ( 析 取 ) 或 者 AND, 
OR 混合 使 用 。 不 过 ， 最 好 在 同一 个 规则 中 避免 混合 使 用 合 取 和 析 取 。 


IF < 前 项 1> 
AND < 前 项 2> 


AND < 前 项 心 
THEN < 结论 > 
IF < 前 项 1> 
OR < 前 项 2> 
OR < 前 项 n 
THEN < 结论 > 


规则 的 结论 部 分 也 可 以 由 多 个 从 句 组 成 


IF < 前 项 > 

THEN < 结论 > 
< 结论 2> 
< 结论 m» 
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规则 的 前 项 部 分 包括 两 部 分 : 对 象 (语言 对 象 ) 和 值 。 以 过 马路 为 例 ， 语 言 对 象 是 “交通 
”和 灯 ”， 可 以 取 值 “ 绿 ”或 “ 红 ”。 对 象 和 值 用 操作 符 连 接 。 操 作 符 识别 对 象 并 进行 赋值 。 像 is、 
are, is not, are not 等 操作 符 为 语言 对 象 赋予 符号 值 。 在 专家 系统 中 ， 也 可 以 使 用 数学 操作 符 定 


义 数值 型 对 象 ， 并 赋予 数值 。 例 如 : 
IF ‘age of the customer’ < 18 
AND  'cash withdrawal' » 1000 
THEN ‘signature of the parent’ is required 


规则 的 后 项 部 分 与 前 项 部 分 类 似 ， 也 通过 操作 符 连接 对 象 和 值 。 操 作 符 为 语言 对 象 赋值 。 以 
过 马路 为 例 ， 如 果 “ 交 通 灯 ”的 值 是 “ 绿 ”， 第 一 条 规则 会 将 语言 对 象 的 行为 赋值 为 “前 进 ”。 


后 项 中 也 可 以 用 数值 型 对 象 和 简单 的 算术 表达 式 : 


IF 'taxable income' > 16283 
THEN ‘Medicare levy’ = ‘taxable income’ « 1.5 / 100 


关系 、 建 议 、 指 示 、 策 略 和 局 发 式 方 法 也 可 以 用 规则 表达 : 


关系 


IF the 'fuel tank' is empty 
THEN the car is dead 


建议 

IF the season is autumn 

AND the sky is cloudy 

AND the forecast is drizzle 

THEN the advice is 'take an umbrella' 


指示 

IF the car is dead 

AND the 'fuel tank' is empty 
THEN the action is ‘refuel the car’ 


IF the car is dead 
THEN the action is 'check the fuel tank'; 
stepl is complete 


IF stepl is complete 

AND the 'fuel tank' is full 

THEN the action is ‘check the battery’; 
step2 is complete 
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- 启发 式 方法 
IF the spill is liquid 
AND the ‘spill pH’ « 6 
AND the 'spill smell' is vinegar 
THEN the 'spill material' is 'acetic acid" 


2.8 专家 系统 研发 团队 的 主要 参与 者 


当 人 类 专家 提供 了 知识 后 ， 我 们 就 能 够 把 知识 输入 计算 机 ， 期 待 着 在 特定 领域 的 计算 机 能 
够 做 一 个 智能 的 助手 ， 或 者 像 专家 那样 解决 问题 ， 并 希望 计算 机 能 够 整合 新 知识 ， 并 以 易 读 、 易 
懂 的 方式 表达 知识 ， 或 用 自然 语言 而 非 人 工 编程 语言 来 处 理 简单 的 句子 。 最 后 ， 我 们 还 希望 计算 
机 解释 得 出 一 个 结论 的 原因 。 换 言 之 ， 我 们 需要 构建 专家 系统 一 能 在 狭窄 问题 领域 具有 专家 
水 平 的 计算 机 程序 。 

基于 规则 的 系统 是 最 常见 的 专家 系统 。 已 有 大 量 的 系统 被 成 功 应 用 于 商业 、 工 程 、 医 药 、 地 
理 、 电 力 系统 以 及 采矿 ， 也 有 很 多 公司 生产 和 销售 用 于 开发 基于 规则 的 专家 系统 的 软件 ， 即 个 人 
电脑 上 的 专家 系统 框架 。 

为 开发 基于 规则 的 系统 的 专家 系统 框架 越 来 越 普遍 ， 其 主要 优势 在 于 系统 开发 员 可 以 把 注 
意 力 放 在 知识 本 身 ， 而 不 是 学 习 一 门 编程 语言 。 

什么 是 专家 系统 框架 

专家 系统 框架 (expert system shell) 是 不 含 知识 的 专家 系统 。 用 户 的 全 部 任务 就 是 以 规则 形 
式 加 入 知识 ， 并 提供 解决 问题 的 相关 数据 。 

现在 看 一 下 构建 专家 系统 需要 哪些 人 员 ， 这 些 人 员 需 要 具备 什么 能 力 ? 

一 般 地 ， 专 家 系统 开发 团队 需要 5 个 成 uu mg 
员 ， 领域 专家 、 知 识 工程 师 、 程 序 员 、 项 目 经 
理 和 终端 用 户 。 专 家 系统 能 否 开发 成 功 完全 取 
决 于 成 员 间 能 否 很 好 地 合作 。 图 2. 1 总 结 了 开 
发 团队 中 成 员 的 基本 关系 。 

领域 专家 是 在 特定 区 域 或 领域 具有 渊博 知 
识 和 丰富 经 验 的 人 。 他 们 在 特定 领域 具有 最 好 
的 经 验 ， 这 些 经 验 会 被 输入 到 专家 系统 中 。 所 





以 ， 专 家 必须 能 够 传达 知识 ， 乐 意 加 入 开发 团 CE 
队 ， 并 在 项 目 上 有 足够 的 时 间 。 在 专家 系统 开 


发 团队 中 ， 领 域 专家 是 最 重要 的 成 员 。 图 2.1 专家 系统 开发 团队 的 主要 成 员 

知识 工程 师 是 善于 设计 、 构 建 、 测 试 专家 系统 的 人 ， 负 责 为 系统 选择 合适 的 任务 ， 并 就 如 何 
解决 特定 问题 和 领域 专家 进行 互动 。 通 过 互动 ， 知 识 工程 师 会 明确 专家 如 何 解决 事实 和 规则 ， 以 
及 怎样 在 专家 系统 中 表达 。 继 而 选择 特定 的 开发 软件 或 专家 系统 框架 ， 或 选择 编程 语言 以 将 知 
识 编码 〈 有 时 知识 工程 师 亲 自 编码 知识 ) 。 之 后 ， 知 识 工程 师 负责 测试 、 修 改 专家 系统 ， 并 将 系 
统 集成 到 工作 平台 。 可 以 看 出 ， 知 识 工程 师 要 负责 从 系统 的 最 初 设 计 到 最 终 运 行 的 整个 流程 。 项 
目 完 成 后 ， 也 许 还 要 参与 系统 的 维护 。 

程序 员 负 责编 程 ， 用 计算 机 能 接受 的 术语 描述 领域 知识 。 他 不 仅 需要 精通 人 工 智 能 语言 的 
符号 编程 ， 像 LISP、PROLOG 和 OPSS 等 ， 也 要 具备 不 同类 型 专家 系统 框架 的 应 用 经 验 。 此 外 ， 
程序 员 还 要 会 常用 编程 语言 ， 如 C. Pascal, FORTRAN 和 Basic。 如 果 使 用 专家 系统 框架 进行 开 
发 ， 知 识 工程 师 就 能 够 将 知识 编码 到 系统 中 ， 就 不 需要 程序 员 了 。 当 不 能 使 用 专家 系统 框架 时 ， 
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就 需要 程序 员 设计 知识 和 数据 表达 结构 (知识 库 和 数据 库 ) 、 控 制 结构 (推理 引擎 ) ， 以 及 对 话 
结构 (用 户 界面 )。 程 序 员 可 能 也 要 参与 测试 专家 系统 。 

项 目 经 理 是 开发 团队 的 领导 ， 负 责 项 目的 进程 ， 确 保 按 计划 进行 ， 并 与 专家 、 知 识 工程 师 、 
程序 员 、 终 端 用 户 进行 互动 。 

终端 用 户 ， 也 称 为 用 户 ， 是 使 用 专家 系统 的 人 ， 可 能 是 一 个 判定 火星 表面 土壤 的 化 学 结构 的 
分 析 化 学 家 (Feigenbaum et al. , 1971) ， 或 诊断 传染 性 血液 病 的 初级 医生 (Shorliffe, 1976) ， 或 
勘探 新 矿床 的 勘探 地 质 学 家 (Duda et al. ，1979 ) ， 或 紧急 情况 下 需要 建议 的 电力 系统 操作 员 
(Negnevitsky, 2008) 。 这 些 终端 用 户 各 有 所 需 ， 所 以 系统 最 终 能 和 否 被 认可 依赖 于 用 户 的 满意 度 。 
用 户 的 满意 度 不 仅 包括 系统 功能 ， 还 包括 操作 是 否 舒 适 。 所 以 系统 中 用 户 界面 的 设计 至 关 重 要 。 
因此 ， 终 端 用 户 的 建议 至 关 重 要 。 

Mr 5 个 成 员 时 ， 就 可 以 开发 系统 了 。 不 过 ， 现 在 的 许多 专家 系统 是 在 个 人 电脑 上 使 用 专 
家 系统 框架 开发 的 ， 不 需要 程序 员 ， 或 许 也 不 需要 知识 工程 师 。 对 于 微型 专家 系统 ， 项 目 经 理 、 
知识 工程 师 、 程 序 员 甚 至 专家 可 能 是 同一 个 人 。 在 开发 大 型 专家 系统 时 ， 就 需要 上 述 所 有 的 成 
员 了 。 


2.4 基于 规则 的 专家 系统 的 结构 


在 20 世纪 70 年 代 早 期 ， 来 自 卡 内 基 - 梅 隆 大 学 的 Newell 和 Simon 提出 了 产生 式 系统 模型 ， 
为 现代 的 基于 规则 的 专家 系统 奠定 了 基础 (Newell and Simon，1972)。 产 生 式 模型 的 思路 是 ， 对 
于 一 个 用 相关 信息 表达 了 的 指定 问题 ， 人 类 运用 知识 (用 产生 式 规 则 表达 ) 能 够 解决 。 产 生 式 
规则 存储 在 长 期 存储 嚣 中， 问题 相关 的 信息 或 事实 存储 在 短期 存储 器 中 。 图 2. 2 是 产生 式 系统 模 
型 和 基于 规则 的 专家 系统 的 基本 结构 。 


知识 库 数据 库 

| 规则 : IF-THEN =a 
长 期 存储 器 短期 存储 器 | | 
[rcr = 


i ry 





a) 产生 式 系统 模型 b) 基于 规则 的 专家 系统 的 基本 结构 
图 2.2 产生 式 系统 模型 和 基于 规则 的 专家 系统 的 基本 结构 


基于 规则 的 专家 系统 由 5 个 部 分 组 成 : 知识 库 、 数 据 库 、 推 理 引 擎 、 解 释 设 备 和 用 户 界 面 。 

知识 库 包 含 解决 问题 相关 的 领域 知识 。 在 基于 规则 的 专家 系统 中 ， 知 识 用 一 组 规则 来 表达 。 
每 一 条 规则 表达 一 个 关系 、 建 议 、 指 示 、 策 略 或 启发 式 方法 ， 具 有 下 (RF) THEN (行为 ) 结 
构 。 当 规则 的 条 件 被 满足 时 ， 触 发 规则 ， 继 而 执行 行为 。 

数据 库 包 含 一 组 事实 ， 用 于 匹配 存储 在 知识 库 中 的 IF (条件) 部 分 。 

推理 引 掌 执行 推理 ， 专 家 系统 由 此 找到 解决 方案 。 推 理 引 擎 链接 知识 库 中 的 规则 和 数据 库 
中 的 事实 。 
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用 户 使 用 解释 设备 查看 专家 系统 怎样 得 出 解决 方案 的 过 程 ， 以 及 为 什么 需要 特定 事实 。 专 
家 系统 必须 能 够 解释 推理 并 证 明 所 给 的 建议 、 分 析 或 结论 。 

用 户 界面 是 实现 用 户 (查询 问题 解决 方案 ) 和 专家 系统 之 间 交 流 的 途径 ， 这 一 途径 必须 有 
实际 意义 并 尽 可 能 地 友好 。 

这 5 个 部 分 对 于 任何 基于 规则 的 专家 系统 来 说 都 是 不 可 或 缺 的 ， 它 们 共同 构成 了 专家 系统 的 
核心 ， 除 此 之 外 也 会 有 其 他 附加 组 件 。 

外 部 接口 允许 专家 系统 融合 外 部 数据 文件 和 
以 常用 语言 编写 的 程序 ， 如 C、Pascal、FORTRAN 
和 Basic。 图 2.3 是 基于 规则 的 专家 系统 的 完整 


结构 。 
开发 者 接口 一 般 包 括 知识 库 编辑 器 、 调 试 工 i 
具 ， 以 及 输入 /输出 设备 。 Af seer aru | 


任何 专家 系统 框架 都 会 提供 简单 的 文本 编辑 
器 ， 用 于 输入 和 调整 规则 、 检 查 格式 和 拼写 。 许 
多 专家 系统 也 包括 记录 设备 ， 用 于 监测 知识 工程 
师 或 专家 所 做 的 修改 。 如 果 规 则 被 改动 ， 编 辑 器 
将 自动 存储 改动 日 期 和 做 改动 的 人 ， 以 便 后 面 参 
考 。 当 有 多 个 知识 工程 师 和 专家 都 有 权 进 入 知识 
库 并 做 修改 时 ， 记 录 设备 尤其 重要 。 

调试 工具 一 般 包 含 跟踪 设备 和 断 点 包 。 跟 踪 
设备 提供 程序 执行 过 程 中 被 触发 的 规则 列表 。 使 
用 断 点 包 则 能 提前 告诉 系统 哪里 该 中 断 ， 以 备 知 
识 工程 师 或 专家 即时 查看 数据 库 中 的 当前 值 。 - 

多 数 专家 系统 还 提供 输入 /输出 设备 ， 例 如 运 [23 基于 规则 的 专家 系统 的 完整 结构 
行 时 知识 获取 器 ， 以 便 运 行 中 的 专家 系统 获取 数据 库 之 外 的 必 和 需 信 息 。 当 知识 工程 师 或 专家 输 
入 所 需 信息 后 ， 系 统 接 着 往 下 运行 。 

总 之 ， 开 发 者 接口 、 知 识 获取 设备 使 得 领域 专家 能 够 直接 将 知识 输入 专家 系统 ， 以 减少 打扰 
知识 工程 师 的 次 数 。 


2.5 专家 系统 的 基本 特征 


专家 系统 用 于 在 狭窄 的 特定 领域 以 专家 级 的 水 平 解决 问题 。 因 此 ， 专 家 系统 的 最 主要 特征 
就 在 于 高 质量 的 性 能 。 无 论 系统 能 多 快 地 解决 问题 ， 如 果 结 果 错 误 ， 用 户 是 不 会 满意 的 。 另 一 方 
面 ,解决 速度 也 很 重要 。 最 精确 的 决策 或 诊断 如 果 来 的 太 慢 ， 也 许 也 会 无 用 ,例如 在 病人 死亡 或 
核反应 堆 爆 炸 等 紧急 情况 时 。 专 家 使 用 经 验 法 则 或 启发 式 方法 ， 通 过 目 己 的 经 验 和 对 问题 的 理 
解 来 寻找 问题 的 解决 捷径 。 专 家 系统 也 应 该 像 人 类 专家 那样 ， 运 用 启发 式 方法 来 引导 推理 并 降 
低 解 决 方案 的 搜索 空间 。 

拥有 解释 功能 是 专家 系统 独 具 的 特征 ， 专 家 系统 通过 这 一 功能 回顾 推理 过 程 ， 并 对 其 决策 
进行 解释 。 所 谓 解释 是 跟踪 整个 解决 过 程 中 被 触发 的 规则 。 这 当然 是 一 个 简单 的 说 法 。 事 实 上 ， 
由 于 系统 不 具备 对 该 领域 的 最 起 码 的 理解 ， 真 正 的 、 像 人 那样 的 解释 还 不 现实 。 尽 管 一 系列 被 触 
发 的 规则 并 不 能 证 明 一 个 结论 ， 我 们 仍然 可 以 为 每 一 条 规则 ， 至 少 为 知识 库 中 的 高 级 规则 ， 关 联 
上 用 文本 表达 的 恰当 的 基本 规律 。 这 也 许 是 目前 的 解释 功能 所 能 达到 的 程度 。 不 过 ， 解 释 功 能 对 
有 些 专 家 系统 来 说 不 是 必需 的 。 例 如 ， 为 专家 设计 的 科学 系统 不 需要 提供 大 量 解 释 ， 因 为 结论 对 
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专家 而 言 是 自 解释 的 ， 有 简单 的 规则 -跟踪 机 制 就 足够 了 。 另 一 方面 ， 用 于 决策 支持 的 专家 系统 
则 需要 完整 的 、 有 意义 的 解释 ， 毕 竞 错误 结论 的 代价 很 高 。 

在 解决 问题 时 ， 专 家 系统 使 用 符号 推理 。 符 号 被 用 来 表示 不 同类 型 的 知识 ， 如 事实 、 概 念 和 
规则 。 构 建 专家 系统 的 目的 是 处 理 知识 ， 因 此 能 够 轻易 地 处 理 定性 数据 ， 这 点 不 同 于 处 理 数值 数 
据 的 传统 程序 。 

传统 程序 通过 算法 处 理 数 据 ， 换 言 之 ， 它 是 定义 好 的 逐步 的 操作 序列 。 一 个 算法 总 按 同一 顺 
序 执行 同样 的 操作 ， 每 次 都 得 到 精确 解 。 传 统 程序 不 会 出 错 ， 只 是 程序 员 有 时 出 错 。 专 家 系统 则 
与 传统 程序 不 同 ， 因 为 它 并 不 按照 特定 的 步 又 序列 执行 ， 允 许 不 精确 的 推理 ， 也 能 够 处 理 不 完 
整 、 不 确定 的 模糊 数据 。 

专家 系统 会 出 错 吗 

再 聪明 的 专家 也 是 人 ， 也 会 出 错 。 对 于 要 达到 人 类 专家 水 平 的 专家 系统 ， 也 应 该 容许 出 错 。 
尽管 我 们 知道 专家 的 判断 有 时 错误 ,但 是 我 们 仍然 信赖 专家 。 同 样 ， 尽 管 在 多 数 情况 下 专家 系统 
所 得 的 结论 都 是 可 信赖 的 ， 有 时 依然 会 出 错 ， 我 们 要 认识 到 这 一 点 。 

这 意味 着 传统 程序 优 于 专家 系统 吗 

理论 上 ， 传 统 程序 提供 的 答案 总 是 正确 的 。 但 要 记 住 传统 程序 仅 能 处 理 数 据 完整 、 准 确 的 问 
题 。 当 数据 不 完整 或 包含 错误 时 ， 传 统 程序 要 么 无 法 应 对 ， 要 么 给 出 错误 的 答案 。 相 比 之 下 ， 专 
家 系统 能 够 识别 出 不 完整 或 者 模糊 的 信息 ， 在 这 种 情况 下 仍 能 给 出 合理 的 结论 。 

专家 系统 有 别 于 传统 程序 的 另 一 个 特征 是 ， 知 识 与 处 理 过程 相 分 离 (知识 库 和 推理 引擎 是 
两 部 分 ) 。 而 传统 程序 中 知识 和 处 理 知识 的 控制 结构 是 混合 在 一 起 的 ， 这 使 得 我 们 难以 理解 和 修 
改 程序 代码 ， 毕 竟 对 代码 的 修改 既 影 响 知 识 ， 又 影响 知识 的 处 理 。 在 专家 系统 中 ， 知 识 与 处 理 机 
制 被 明确 地 划分 开 ， 在 构建 和 维护 专家 系统 时 就 容易 得 多 。 如 果 使 用 专家 系统 框架 ， 知 识 工程 师 
或 者 专家 只 需 往 知识 库 中 添加 知识 即 可 。 每 一 条 新 规则 会 带 来 新 知识 ， 专 家 系统 也 随 之 更 聪明 。 
通过 改变 、 删 减 规则 ， 能 轻易 地 修改 系统 。 

专家 系统 的 上 述 特征 使 专家 系统 有 别 于 传统 程序 和 人 类 专家 。 表 2. 1 是 三 者 之 间 的 对 比 。 


表 2. 1 专家 系统 、 传 统 程序 及 人 类 专家 的 对 比 


















人 类 专家 


在 狭窄 领 域 ， 以 经 验 法 则 或 启发 式 方 | 在 狭窄 领域 ， 以 规则 形式 表达 知识 ， 
法 的 知识 形式 来 解决 问题 使 用 符号 推理 解决 问题 


在 人 脑 中 ,知识 以 可 编译 的 形式 存在 | ”提供 知识 与 处 理 过 程 明确 分 离 的 机 制 












处 理 数据 ， 使 用 由 一 系列 操作 组 成 
的 算法 ,来 解决 一 般 的 数值 问题 


知识 与 处 理 知识 的 控制 结构 没有 
分 离 








在 解决 问题 过 程 中 跟踪 被 触发 的 规则 ， 4 、 
MERE MAE AE TH USA, ULB At A LIE TARTE BRA REA 
需要 特定 数据 的 原因 


使 用 不 精确 的 推理 ， 能 处 理 不 完整 、 人 允许 不 精确 的 推理 ， 能 处 理 不 完整 | 仅 能 在 数据 完整 、 确 定 的 情况 下 处 
不 确定 和 模糊 的 信息 不 确定 和 模糊 的 数据 理 问题 


当 信息 不 完整 或 模糊 时 ， 可 能 会 出 错 | ” 当 数 据 不 完整 或 模糊 时 ， 可 能 会 出 错 Wh BO BAK 


通过 多 年 的 学 习 和 实践 训练 ， 可 以 提 LIRE ID A E E E I ee AUR TIMOR 
APRON, PAARA NI, TREE. RE BEREZ o TA EES aae PIE 
低 效 、 代 价 高 新 知识 时 ， 很 容易 实现 调整 困难 ， 1 


能 够 解释 推理 过 程 并 提供 细节 

















2.6 前 向 链接 和 后 向 链接 推理 技术 
在 基于 规则 的 专家 系统 中 ,领域 知识 用 一 组 全 -THEN 产 生 式 规则 来 表示 ,数据 用 当时 情境 
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下 的 一 组 事实 来 表示 。 推 理 引 擎 将 存储 在 知识 库 中 的 规则 与 数据 库 中 的 事实 相 匹 配 ， 如 果 一 条 
规则 的 正 〈 条 件 ) 部 分 与 事实 匹配 ， 即 触发 该 规则 ， 执 行 THEN (行为 ) 部 分 。 被 触发 的 规则 
可 能 由 于 添加 新 事实 而 改动 事实 集合 ， 如 图 2.4 所 示 。 数 据 库 和 知识 库 中 的 字母 表示 状态 或 
概念 。 

通过 匹配 规则 的 IF 部 分 和 事实 ， 形 成 推理 链 。 推 理 链 表明 了 专家 系统 如 何 运用 规则 得 出 结 
论 。 下 面 通过 一 个 简单 的 例子 来 解释 链 式 推理 技术 。 

假设 数据 库 最 初 包含 5 个 事实 : 4、8、C、D 和 五 ， 知 识 库 最 初 包含 3 条 规则 : 

Rule 1: IF Y is true 


AND Distrue 
THEN Zis true 


Rule 2: IF X is true 
AND Bistrue 
AND | Eis true 
THEN Y is true 


Rule 3: IF A is true 
THEN X is true 


图 2. 5 中 的 推理 链表 明了 专家 系统 运用 规则 最 终 推出 事实 Z 的 过 程 。 规 则 3 最 早 被 激活 ， 由 
事实 4 推出 了 新 事实 下。 之 后 规则 2 被 激活 ， 由 初始 事实 B 和 EE， 加 上 事实 XY， 共同 推出 事实 了 。 
最 后 ， 规 则 1 被 激活 ， 由 初始 事实 D 和 刚 确定 的 事实 了 推出 事实 Zo 





图 2.4 推理 引擎 中 的 匹配 -触发 循环 过 程 图 2.5 推理 链 的 例子 


专家 系统 能 够 用 推理 链 来 解释 怎样 得 出 的 结论 ， 这 是 解释 设备 的 必要 部 分 。 
推理 引擎 要 决定 何 时 激活 哪 条 规则 。 选 择 规则 时 ， 有 两 个 主要 方法 ; 前 向 链接 和 后 向 链接 
( Waterman and Hayes- Roth, 1978) 。 


2.6.1 前 向 链接 


上 述 例子 正 是 运用 了 前 向 链接 。 现 在 来 具体 地 分 析 这 一 技术 。 我 们 先 将 规则 重 写 为 如 下 
形式 : 

Rulel: Y&DZ 

Rule 2: X&B&EY 

Rule3: A—X 

箭头 表明 规则 的 IF 部 分 和 THEN 部 分 。 另 外 ， 再 添加 两 条 规则 

Rule 4: CL 

Rule5: L&MN 

E 2. 6 显示 了 这 一 组 规则 按 前 向 链接 的 运作 流程 。 

前 项 链接 是 数据 驱动 (data-driven) 的 推理 技术 。 从 已 知 数据 开始 展开 推理 。 每 一 次 只 执行 


-顶端 的 一 条 规则 。 当 有 规则 被 触发 时 ， 就 有 新 事实 加 入 数据 库 。 任 何 规则 只 能 被 执行 一 次 。 当 没 
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有 规则 可 触发 时 ， 匹 配 - 触发 循环 终止。 

















图 2.6 前 向 链接 


第 一 轮 中 ， 只 有 两 个 规则 ， 规 则 3: 4 一 X 和 规则 4: C 一 L， 与 数据 库 中 的 事实 匹配 。 规 
则 3:4 一 了 处 于 顶端 ， 就 先 被 触发 。 规 则 3 的 IF 部 分 与 数据 库 中 的 事实 A 相 匹 配 ， 执 行 
THEN 部 分 后 ,将 新 事实 加 入 数据 库 。 之 后 ,规则 4: C 一 工 被 触发 ， 新 事实 工 加 入 数 
据 库 。 

第 二 轮 中 ， 由 于 数据 库 中 已 有 事实 B, EAX, H2: X & B& 天 -> 了 最 先 被 触发 ， 产 生 事实 
Y， 并 被 放 和 数据库。 这 导致 第 三 轮 中 规则 1Y & D 一 2 被 执行 ， 生 成 新 事实 Z。 至 此 ， 匹 配 - 激 
活 循环 终止 。 由 于 规则 5: L & MN 不 匹配 所 有 数据 库 中 的 事实 ,规则 5 无 法 被 触发 。 

前 向 链接 是 搜集 信息 并 推出 信息 的 技术 。 不 过 ， 在 前 向 链接 中 ， 许 多 被 触发 的 规则 也 许 与 问 
题目 标 无 关 。 在 上 面 的 例子 中 ， 目 标 是 推出 事实 Z。 我 们 仅 有 5 条 规则 ， 其 中 4 条 规则 被 触发 。 
规则 4: COL 虽 与 事实 Z 无 关 ， 也 同样 被 触发 了 。 一 个 真正 的 基于 规则 的 专家 系统 可 能 有 成 百 上 
千 条 规则 ， 许 多 规则 被 触发 后 虽然 能 推出 有 效 的 新 事实 ， 但 可 能 与 目标 无 关 。 所 以 ， 如 果 只 需 推 
出 一 个 特定 的 事实 ， 前 向 链接 推导 技术 或 许 效率 很 低 。 

这 种 情况 下 ， 后 向 链接 技术 就 比较 合适 。 


2.6.2 后 向 链接 


后 向 链接 是 目标 驱动 的 推理 技术 。 在 后 向 链接 中 ， 专 家 系统 有 目标 (一 个 假设 的 答案 ) HE 
理 引 擎 的 任务 是 找 出 证 明 目 标的 论据 。 首 先 ， 在 知识 库 中 搜寻 含有 目标 的 规则 ， 即 THEN 部 分 包 
含 的 目标 规则 。 如 果 找 到 这 种 规则 ， 在 数据 库 中 也 有 匹配 的 事实 ， 就 触发 规则 并 证 明 目 标 。 不 过 
这 种 情况 很 少见 。 所 以 ， 推 理 引擎 就 暂 不 考虑 这 类 规则 (将 规则 压 找 ) ， 要 建立 新 目标 ， 即 子 目 
标 ， 以 证 明 压 栈 规则 的 IF 部 分 。 接 下 来 ， 再 次 查找 知识 库 中 能 证 明子 目标 的 规则 。 推 理 引 擎 不 
断 将 规则 压 栈 ， 直 到 知识 库 中 的 所 有 规则 都 不 能 证 明子 目标 。 

图 2.7 以 上 述 例子 为 例 ， 显 示 了 后 向 链接 的 工作 原理 。 

在 第 1 个 周期 ， 推 理 引 擎 尝试 推出 事实 Z。 通 过 查找 知识 库 来 寻找 THEN 部 分 包含 事实 Z 的 
规则 。 推 理 引擎 找到 了 规则 1: Y & DZ, HERR. MUL 的 下 部 分 包含 事实 Y 和 D， 所 以 下 
面 是 确立 事实 Y 和 D。 

在 第 2 个 周期 ， 推 理 引 擎 安装 子 目标 : 事实 Y， 并 试图 确立 它 。 通 过 检查 知识 库 ， 发 现 其 中 
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没有 事实 Y。 因 此 需要 寻找 THEN 部 分 包含 事实 7 的 和 规则。 推理 引擎 发 现 规则 2: XY & B & EY 
满足 条 件 ， 将 它 压 栈 。 规 则 2 的 IF 部 分 包括 事实 XX、B 和 EE， 接 下 来 同样 需要 建立 这 些 事实 。 

在 第 3 个 周期 ， 推 理 引擎 安装 新 的 子 目 标 : 证 实事 实 X。 推 理 引 擎 通过 查找 数据 库 ， 发 
现 不 包含 XX， 就 去 查找 能 推出 X 的 规则 。 找 到 了 规则 3: 4 一 X， 将 它 压 栈 。 接 下 来 需要 证 实 
事实 4。 

在 第 4 个 周期 ， 推 理 引擎 发 现 4 在 数据 库 中 。 规 则 3: 4 一 X 被 触发 ， 推 出 了 新 事实 站。 

在 第 S 个 周期 ， 推 理 引 敬 要 证 实 子 目 标 Y， 青 次 试图 执行 规则 2: X & 8 & E 一 Y。 由 于 事实 
X、B 和 都 在 数据 库 中 ,规则 2 被 触发 ,推出 了 新 事实 Y, 将 了 加 入 数据 库 。 

在 第 6 个 周期 ， 系统 转向 规则 1:Y & D 一 Z， 尝 试 证 实 初 始 目 标 Z。 由 于 规则 1 的 IF 部 分 与 
数据 库 中 的 事实 相 匹 配 ， 规 则 1 被 执行 ， 初 始 目标 得 以 证 实 。 


第 1 个 周期 
数据 库 
















知识 库 
目标 : Z 子 目标 : X 
第 4 个 周期 第 5 个 周期 第 6 个 周期 


Bem 数据 库 数据 库 





知识 库 


Y& D-Z 


L& M—N 


THES Y 












图 2.7 后 向 链接 


现在 来 对 比 图 2.6 和 图 2.7。 可 以 看 出 ， 前 向 链接 中 触发 了 4 条 规则 ， 而 后 向 链接 中 
只 触发 了 3 条 规则 。 这 个 简单 的 例子 说 明了 当 需 要 证 实 一 个 特定 事实 时 (例子 中 是 Z)， 
后 向 链接 更 为 有 效 。 前 向 链接 中 ， 在 推理 过 程 开始 前 就 确定 了 数据 ， 不 需 用 户 额 外 输入 。 
在 后 向 链接 中 ， 确 立 目 标 后 ， 只 需要 那些 支持 推理 的 数据 ， 有 时 也 需要 用 户 输入 一 些 数 
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据 库 中 没有 的 事实 。 

如 何 选择 前 向 链接 和 后 向 链接 

答案 是 分 析 领 域 专家 是 如 何 解决 问题 的 。 如 果 专家 事先 需要 搜集 信息 ， 无 论 结论 是 什么 都 
试 着 去 推理 ， 这 时 应 选择 前 向 链接 推理 技术 。 如 果 专 家 从 一 个 假设 的 结论 触发 ， 尝 试 着 找 出 支持 
结论 的 论据 ， 则 应 选择 后 向 链接 推理 技术 。 

前 向 链接 对 于 设计 能 够 分 析 和 解释 的 专家 系统 来 说 ， 是 理所当然 的 方法 。 例 如 DEN- 
DRAL， 这 款 专 家 系统 基于 大 量 质谱 数据 来 确定 未 知 土壤 的 分 子 结构 (Feigenbaum et al. , 
1971) ， 就 使 用 了 前 向 链接 技术 。 多 数 使 用 后 向 链接 的 专家 系统 多 用 于 诊断 性 工作 。 例 
如 ， 诊 断 传染 性 血液 病 的 医用 专家 系统 MYCIN ( Shortliffe, 1976) ， 就 使 用 了 后 向 链接 
技术 。 

能 否 将 前 项 、 后 向 链接 相 结合 

许多 专家 系统 框架 同时 使 用 了 前 项 、 后 向 链接 推理 技术 ， 所 以 知识 工程 师 就 不 必 二 选 一 。 不 
过 ， 基 本 的 推理 机 制 一 般 采 用 后 向 链接 。 只 有 当 确立 新 事实 时 ， 才 使 用 前 向 链接 以 最 大 程度 地 利 
用 新 数据 。 


2.7 MEDIA ADVISOR: 基于 规则 的 专家 系统 实例 


接 下 来 通过 一 个 简单 的 基于 规则 的 专家 系统 进一步 说 明 上 述 概 念 。 我 们 选择 专家 系统 框架 
Leonardo 来 构建 一 个 名 为 MEDIA ADVISOR 决策 支持 系统 ， 用 于 为 实习 生 推 荐 平台 ,该 平台 根据 
实习 生 的 工作 制订 培训 计划 。 例 如 ， 如 果实 习 生 是 一 个 负责 维护 水 压 系统 的 机 械 技术 员 ， 车 间 就 
是 合适 的 平台 ， 在 那里 可 以 学 习 水 压 组 件 的 工作 原理 、 如 何 检测 水 压 故障 ， 以 及 如 何 对 水 压 系统 
做 简单 修复 。 如 果实 习 生 是 评估 投保 单 的 员工 ， 培 训 计划 中 就 需 包 括 特定 相关 任务 的 讲座 ， 以 及 
实习 生 评 估 实 际 申请 的 教程 。 对 于 复杂 任务 ， 实 习 生 可 能 会 出 错 ， 培 训 计 划 就 应 包括 对 实习 生 绩 
效 的 反馈 。 

知识 


/* MEDIA ADVISOR: a demonstration rule-based expert system 


if the environment is papers 

or the environment is manuals 
or the environment is documents 
or the environment is textbooks 
then the stimulus situation is verbal 


Rule: 2 

if the environment is pictures 

Or the environment is illustrations 
or the environment is photographs 
or the environment is diagrams 


then the stimulus_situation is visual 


if the environment is machines 
or the environment is buildings 
or the environment is tools 


then the stimulus situation is ‘physical object’ 


Rule: 4 


if the environment is numbers 
or the environment is formulas 
or the environment is ‘computer programs’ 


then the stimulus situation is symbolic 
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Rule: 5 

if the job is lecturing 
or the job is advising 

or the job is counselling 


then the stimulus response is oral 


Rule: 6 

if the job is building 

or the job is repairing 

or the job is troubleshooting 

then the stimulus response is 'hands-on' 


Rule: 7 

if the job is writing 

or the job is typing 

or the job is drawing 

then the stimulus response is documented 


Rule: 8 

if the job is evaluating 
or the job is reasoning 

or the job is investigating 


then the stimulus response is analytical 


Rule: 9 

if the stimulus, situation is ‘physical object’ 
and the stimulus response is 'hands-on' 

and feedback is required 

then medium is workshop 


Rule: 10 

if the stimulus situation is symbolic 
and the stimulus response is analytical 
and feedback is required 

then medium is ‘lecture - tutorial’ 


Rule: 11 

if the stimulus situation is visual 

and the stimulus response is documented 
and feedback is not required 

then medium is videocassette 


Rule: 12 

if the stimulus situation is visual 
and the stimulus response is oral 
and feedback is required 


then medium is ‘lecture - tutorial’ 
Rule: 13 
if the stimulus situation is verbal 


and the stimulus response is analytical 
and feedback is required 
then medium is ‘lecture - tutorial’ 


Rule: 14 

if the stimulus situation is verbal 
and the stimulus response is oral 
and feedback is required 

then medium is ‘role-play exercises’ 


/* The SEEK directive sets up the goal of the rule set 

seek medium 

xt 

MEDIA ADVISOR 使 用 6 个 语言 对 象 : environment. stimulus, situation, job, stimulus, response , 
feedback 和 medium。 各 个 对 象 都 可 以 在 各 自 值 域内 取 一 个 值 CU HE, environment 可 取 的 值 有 
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papers, manuals, documents, textbooks, pictures, illustrations, photographs, diagrams, machines , 
buildings, tools, numbers, formulas, computer programs) o 对 象 和 它 的 值 构成 事实 〈 例 如 ， 如 果 en- 
vironment is machines 和 那么 job is repairing). PA 的 事实 都 存在 数据 库 中 。 


表 2.2 MEDIA ADVISOR 语言 对 象 及 其 可 取 值 



















对 象 

























environment 
lecturing 
advising 
papers , 
counselling 
manuals buildin 
documents .. 8 
textbooks rep: 8 . 
pictures troubleshooting 
illustrations wnting 
photographs typing 
di drawing 
agrams 5 
: evaluating 
machines . 
buildings Teasonmg 
tools investigating 
numbers 
formulas stimulus, response oral 
computer programs hands-on 
documented 
analytical 
stimulus situation verbal feedback 
visual required 
physical object not required 









symbolic 





选项 


基于 规则 的 专家 系统 的 最 终 目 标 是 根据 数据 找 出 问题 的 解决 方案 。 在 MEDIA ADVISOR m, 
解决 方案 是 从 4 个 选项 中 选择 一 个 平台 。 


medium is workshop 

medium is ‘lecture - tutorial’ 
medium is videocassette 
medium is ‘role-play exercises’ 


对 话 

在 如 下 的 对 话 中 ， 系 统 要 求 用 户 输 入 所 需 数据 以 解决 问题 (问题 有 环境 、 工 作 和 反馈 三 方 
面 ) 。 根 据 用 户 提供 的 答案 (如 下 面 箭 头 所 示 ) ， 专 家 系统 应 用 规则 来 推出 stimulus, situation is 
physical object, UA 2% the stimulus response is hands-on 等 结论 ， 再 根据 规则 9 选择 平台 。 


What sort of environment is a trainee dealing with on the job? 
= machines 


Rule: 3 

if the environment is machines 
or the environment is buildings 
or the environment is tools 


then the stimulus situation is ‘physical object’ 


In what way is a trainee expected to act or respond on the job? 
= repairing 


Rule: 6 

if the job is building 

or the job is repairing 

or the job is troubleshooting 

then the stimulus, response is ‘hands-on’ 
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Is feedbuck on the trainee's progress required during training? 
= required 


Rule: 9 
it the stimulus, situation is ‘physical object’ 
and the stimulus response is ‘hands-on’ 
and feedback is required 
44 then medium is workshop 











推理 技术 

Leonardo 系统 中 标准 的 推理 技术 是 后 向 链接 技术 ， 偶 尔 使 用 前 向 链接 ， 它 在 处 理 可 获取 的 信 
息 时 最 有 效 。Leonardo 用 户 也 能 关 掉 后 向 链接 或 前 向 链接 ， 这 样 便 能 分 别 研究 这 两 种 技术 。 

前 向 链接 是 数据 驱动 的 推理 技术 ， 需 要 预先 提供 数据 。 假 设 : 


the environment is machines 
‘environment’ instantiated by user input to ‘machines’ 


the job is repairing 

‘job’ instantiated by user input to ‘repairing’ 
feedback is required 

‘feedback’ instantiated by user input to ‘required’ 


将 会 发 生 下 述 过 程 : 

Rule: 3 fires 'stimulus situation' instantiated by Rule: 3 to ‘physical object’ 
Rule: 6 fires ‘stimulus_response’ instantiated by Rule: 6 to ‘hands-on’ 
Rule: 9 fires ‘medium’ instantiated by Rule: 9 to ‘workshop’ 

No rules fire stop 


后 向 链接 是 目标 驱动 的 推理 技术 ， 需 要 预先 假定 结果 (Ain). RADE “ ‘medium’ is 
'workshop' ”， 确 立 以 下 目标 : 


Pass 1 
Trying Rule: 9 
Rule: 9 stacked 


Need to find object 'stimulus situation" 

Object 'stimulus situation' sought as 'physical 
object 

Pass 2 

Trying Rule: 3 
Rule: 3 stacked 


Need to find object ‘environment’ 
Object ‘environment’ sought as ‘machines’ 


ask environment 


一 machines 'environment' instantiated by user input to 
'machines' 

Trying Rule: 3 'stimulus situation' instantiated by Rule: 3 to 
'physical object' 

Pass 3 

Trying Rule: 9 Need to find object 'stimulus response' 


Rule: 9 stacked 


Pass 4 

Trying Rule: 6 
Rule: 6 stacked 
ask job 
repairing 


Object 'stimulus response' sought as 'hands-on' 


Need to find object ‘job’ 
Object ‘job’ sought as ‘building’ 


‘job’ instantiated by user input to ‘repairing’ 


Trying Rule: 6 ‘stimulus_response’ instantiated by Rule: 6 to 
‘hands-on’ 

Pass 5 

Trying Rule: 9 Need to find object ‘feedback’ 


Rule: 9 stacked 


ask feedback 
=> required 


Object ‘feedback’ sought as ‘required’ 


‘feedback’ instantiated by user input to ‘required’ 
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Trying Rule: 9 ‘medium’ instantiated by Rule: 9 to ‘workshop’ 


medium is workshop 


用 树 形 图 来 映射 与 专家 系统 的 咨询 会 话 很 直观 。 图 2.8 是 MEDIA ADVISOR 的 树 形 图 。 目 标 
是 根 结 点 ， 当 系统 启动 时 ， 推 理 引 擎 搜寻 目标 的 值 。 














图 2.8 MEDIA ADVISOR 的 树 形 图 [46 | 


MEDIA ADVISOR 能 处 理 任何 情况 吗 
当 我 们 使 用 专家 系统 一 段 时 间 后 ， 会 发 现 可 选项 不 能 涵盖 所 有 情况 。 例 如 ， 可 能 出 现下 面 的 
对 话 。 


What sort of environment is a trainee dealing with on the job? 
illustrations 


In wliat way is a trainee expected to act or respond on the job? 
- drawing 


Is feedback on the trainee's progress required during training? 
required 


1 am unable to draw any conclusions on the basis of the data. 
所 以 ，MEDIA ADVISOR 在 现 阶 段 不 能 处 理 上 面 这 些 情 况 。 幸 运 的 是 ， 通 过 添加 更 多 规则 能 
轻易 地 扩展 专家 系统 ， 直 到 最 终 符 合用 户 的 需求 。 


2.8 冲突 消解 
在 本 章 的 开始 ， 我 们 举 过 过 马路 的 例子 ， 那 是 两 条 规则 ， 现 在 我 们 增加 第 三 条 规则 ， 便 得 到 


了 下 面 的 规则 集 : 
Rule 1 
IF the 'traffic light' is green 
THEN the action is go 
Rule 2 - 
IF the ‘traffic light’ is red 
THEN _ the action is stop 
Rule 3 
IF the ‘traffic light’ is red 


THEN the action is go 
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将 会 发 生 什 么 

推理 引擎 将 规则 的 正 〈 条 件 ) 部 分 与 数据 库 中 的 数据 相 比 较 ， 当 条 件 满足 时 触发 规则 。 由 
于 一 条 规则 被 触发 可 能 影响 到 其 他 规则 ， 推 理 引 人 擎 每 次 只 允许 触发 一 条 规则 。 过 马路 的 例子 有 
两 条 规则 ， 规 则 2 和 规则 3， 它 们 的 正 部 分 相同 。 当 它们 的 条 件 被 满足 时 ， 两 条 规则 都 符合 触发 
的 条 件 ， 从 而 组 成 冲突 集 。 当 多 个 规则 在 一 个 周期 内 都 满足 触发 条 件 时 ， 需 要 从 中 选择 一 条 规 
则 ， 这 个 方法 称 为 冲突 消解 (conflict resolution) 。 

当 交 通 灯 变 红 时 ， 该 执行 哪 条 规则 

如 果 用 前 向 链接 ， 那 么 两 条 规则 都 会 被 触发 。 规 则 2 由 于 顺序 上 的 优先 ， 先 被 触发 ， 执 行 
THEN 部 分 ， 语 言 对 象 “action” 的 值 是 “stop” “交通 灯 变 红 ”这 一 事实 仍 在 数据 库 中 ， 规 则 3 
由 于 满足 条 件 也 被 触发 ， 相 应 的 对 象 “action” 的 新 值 是 “go”。 通 过 这 个 简单 的 例子 ， 可 以 看 
出 当 使 用 前 向 链接 时 ， 规 则 的 顺序 很 关键 。 | 

怎样 消解 冲突 

消解 冲突 的 显而易见 的 策略 是 确立 目标 ， 当 目标 实现 后 不 再 触发 规则 。 在 过 马路 的 例子 中 ， 
目标 是 为 语言 对 象 “action ”确立 值 。 当 专家 系统 为 “action” 赋 值 后 ， 目 标 实 现 ， 系 统 终止 。 
因此 ， 当 交通 灯 变 红 时 ， 和 触发 规则 2, “action” 的 值 是 “stop”， 至 此 系统 终止 。 在 这 个 例子 中 ， 
专家 系统 的 结论 是 对 的 。 但 如 果 调 换 两 个 规则 ， 结 论 就 错 了 。 这 说 明知 识 库 中 的 规则 顺序 仍然 至 
关 重 要 。 

存在 其 他 消解 办 法 四 

还 有 其 他 办 法 (Shirai and Tsuji, 1985; Brachman and Levesque, 2004; Giarratano and Riley, 
2004) 。 

e 触发 优先 权 最 高 的 规则 。 在 简单 的 应 用 场景 中 ， 合 理 地 排列 知识 库 中 的 规则 就 确定 了 优先 

权 。 这 种 策略 一 般 适 于 规则 数 在 100 条 左右 的 系统 。 但 在 茶 些 应 用 中 ， 必 须 按 照 重要 程度 

处 理 数 据 。 例 如 ， 在 一 个 医疗 咨询 中 (Durkin，1994) ， 按 照 如 下 方式 设置 优先 权 : 

Goal 1. Prescription is? Prescription 


RULE 1 Meningitis Prescription1 

(Priority 100) 

IF Infection is Meningitis 

AND The Patient is a Child 

THEN Prescription is Number 1 

AND Drug Recommendation is Ampicillin 
AND Drug Recommendation is Gentamicin 
AND Display Meningitis Prescription1 
RULE 2 Meningitis Prescription2 

(Priority 90) 

IF Infection is Meningitis 

AND The Patient is an Adult 

THEN Prescription is Number 2 

AND Drug Recommendation is Penicillin 
AND Display Meningitis Prescription2 


e 激发 最 具体 的 规则 。 这 个 方法 也 称 为 最 长 匹配 策略 ， 其 依据 的 假设 是 具体 规则 比 一 般 规 则 
处 理 更 多 的 信息 。 例 如 : 


IF the season is autumn 
AND the sky is cloudy 

AND the forecast is rain 
THEN the advice is 'stay home' 


IF the season is autumn 
THEN the advice is 'take an umbrella' 
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如 果 “ 季 节 是 秋季 、 多 云 、 预 报 有 雨 ”这 些 条 件 满足 ， 由 于 规则 1 的 前 项 比 规则 2 更 具体 ， 
规则 1 被 触发 。 如 果 仅 满足 “季节 是 秋季 ”， 规 则 2 被 触发 。 

e. 触发 那些 在 数据 库 中 最 近 加 入 的 数据 的 规则 。 这 个 方法 依 于 数据 库 中 每 个 事实 附带 的 时 间 

标签 。 专 家 系统 优先 触发 冲突 集中 最 新 加 入 数据 的 规则 。 例 如 : 


Rule 1: 
IF the forecast is rain [08:16 PM 11/25/96] 
THEN the advice is 'take an umbrella" 


Rule 2: 
IF the weather is wet — [10:18 AM 11/26/96} 
THEN the advice is 'stay home' 


假定 这 两 条 规则 的 下 部 分 都 与 数据 库 中 的 事实 匹配 。 由 于 “weather is wet” 这 一 事实 进入 
数据 库 的 时 间 晚 于 “forecast is rain”， 规 则 2 被 触发 。 这 个 方法 尤为 适 于 数据 库 不 断 更 新 的 实时 
应 用 环境 。 

以 上 的 冲突 消解 方法 比较 简单 ， 也 易于 实施 。 多 数 情 况 下 ， 这 些 方法 足够 用 了 。 但 当 程 序 越 
来 越 庞大 、 复 杂 时 ， 知 识 工程 师 管理 和 检查 知识 库 中 的 规则 的 任务 就 会 逐渐 困难 。 必 须 由 专家 系 
统 分 担任 务 ， 并 理解 系统 本 身 的 行为 。 

为 了 提高 系统 性 能 ,我们 需要 为 系统 提供 关于 其 所 拥有 的 知识 的 知识 ， 也 就 是 元 知识 
( metaknowledge ) 。 

元 知识 可 以 简单 地 定义 为 关于 知识 的 知识 ， 是 在 专家 系统 中 使 用 和 控制 领域 知识 的 知识 
(Waterman ，1986 ) 。 在 基于 规则 的 专家 系统 中 ， 用 元 规则 (metarule) 来 表示 元 知识 。 元 规则 决 
定 专 家 系统 中 具体 任务 的 规则 使 用 策略 。 

元 知识 的 起 源 是 什么 

知识 工程 师 将 领域 专家 的 知识 传达 到 专家 系统 ， 学 习 如 何 使 用 问题 相关 的 规则 ， 逐 渐 在 头 
脑 里 形成 新 知识 体 ， 即 关于 专家 系统 行为 的 知识 。 这 个 新 知识 ， 即 元 知识 ， 很 大 程度 上 独立 于 领 
域 。 例 如 : 


Metarule 1: 
Rules supplied by experts have higher priorities than rules supplied by 
novices. 


Metarule 2: 
Rules governing the rescue of human lives have higher priorities than rules 
concerned with clearing overloads on power system equipment. 


专家 系统 会 理解 和 使 用 元 规则 四 

一 些 专 家 系统 为 元 规则 提供 了 单独 的 引擎 。 但 大 多 数 专家 系统 都 不 能 区 分 规则 和 元 规则 。 
所 以 必须 对 现 有 知识 库 中 的 元 规则 设 定 最 高 权限 。 当 一 条 元 规则 触发 时 ， 能 改变 其 他 规则 优先 
权 的 一 些 重要 信息 会 被 添加 到 数据 库 。 


2.9 基于 规则 的 专家 系统 的 优点 和 缺点 


当 构 建 基于 知识 的 系统 时 ， 基 于 规则 的 专家 系统 被 公认 为 最 好 的 选择 。 

什么 特征 使 得 基于 规则 的 专家 系统 被 知识 工程 师 青睐 

这 些 特征 是 : 

e 自然 语言 表达 。 专 家 通常 会 使 用 这 样 的 表达 来 解释 解决 问题 的 过 程 : “在 什么 一 什么 
情况 下 ， 我 如 何 一 如 何 做 。” 这 样 的 表达 可 以 被 很 自然 地 表达 为 IF-THEN 产生 式 
规则 。 

e 统一 结构 。 产 生 式 规则 具有 统一 的 还 -THEN 结构 。 每 一 条 规则 都 是 一 个 独立 的 知识 。 产 生 
式 规则 的 语法 使 得 规则 具有 自 释 性 。 
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e 知识 与 处 理 的 相 分 离 。 基 于 规则 的 专家 系统 的 结构 为 知识 库 和 推理 引擎 提供 了 有 效 的 分 离 
机 制 。 因 此 ， 能 够 使 用 同一 个 专家 系统 框架 开发 不 同 的 应 用 ， 系 统 本 身 也 容易 扩展 。 在 不 
干扰 控制 结构 的 同时 通过 添加 一 些 规则 ， 还 能 使 系统 更 聪明 。 

e 处 理 不 完整 、 不 确定 的 知识 。 大 多 数 基 于 规则 的 专家 系统 都 能 表达 和 推理 不 完整 、 不 确定 
的 知识 。 例 如 : 


IF season is autumn 

AND © sky is ‘cloudy’ 

AND wind is low 

THEN forecast is clear {cf 0.1]; 
forecast is drizzle {cf 1.0}; 
forecast is rain {cf 0.9} 


这 条 规则 就 表达 了 下 面 这 条 句子 的 不 确定 性 。 

“如 果 是 秋季 ， 看 似 在 下 毛毛 两 ， 那 么 今天 可 能 又 很 潮湿 。” 

这 条 规则 用 数值 表达 不 确定 性 ， 称 为 确信 因子 {cf 0.1| 。 专 家 系统 使 用 确信 因子 来 确立 规 

则 结论 的 可 信 度 或 者 可 信 水 平 。 我 们 将 在 第 3 章 具体 讨论 这 一 话题 。 

这 些 特征 使 得 专家 系统 在 现实 问题 的 知识 表达 上 非常 适用 。 

基于 规则 的 专家 系统 就 完美 无 缺 了 吗 

其 有 3 个 主要 的 缺点 : 

e 规则 之 间 的 关系 不 透明 。 尽 管 单条 规则 都 比较 简单 ， 也 是 自 释 性 的 ， 大 量规 则 间 的 逻辑 关 
系 却 可 能 不 透明 。 在 基于 规则 的 系统 中 ， 难 以 观察 单条 规则 如 何 对 整个 策略 起 作用 ， 原 因 
在 于 基于 规则 的 专家 系统 缺乏 分 层 的 知识 表达 。 

e 低 效 的 搜索 策略 。 推 理 引擎 在 每 个 周期 中 搜索 所 有 的 规则 。 当 规则 很 多 时 (多 于 100 
条 规则 ) ， 系 统 速度 会 很 慢 。 基 于 规则 的 大 型 系统 可 能 就 不 适用 于 实时 应 用 。 

e 没有 学 习 能 力 。 一 般 的 基于 规则 的 专家 系统 都 不 具备 从 经 验 中 学 习 的 能 力 。 人 类 专家 知道 
何 时 打破 规则 ， 而 专家 系统 并 不 能 自动 修改 知识 库 ， 例 如 调整 规则 、 添 加 规则 。 修 改 和 维 
护 系 统 的 任务 仍然 由 知识 工程 师 来 做 。 


2.10 小 结 


本 章 介绍 了 基于 规则 的 专家 系统 ， 简 要 讨论 了 何 为 知识 ， 专 家 如 何以 产生 式 规则 形式 
表达 知识 。 我 们 分 析 了 专家 系统 开发 团队 的 主要 成 员 ， 描 述 了 基于 规则 的 系统 的 结构 ， 分 
析 了 专家 系统 的 主要 特征 ， 并 指出 专家 系统 也 有 出 错 的 时 候 。 接 下 来 回顾 了 前 向 链接 、 后 
向 链接 推理 技术 ， 对 冲突 消解 策略 进行 了 讨论 。 最 后 ,我 们 分 析 了 基于 规则 的 专家 系统 的 
优 缺 点 。 

本 章 的 主要 内 容 为 : 

e 知识 是 对 主题 的 理论 和 实践 两 方面 的 理解 ， 是 当前 所 知 的 总 和 。 

e 专家 是 在 特定 领域 具有 深厚 知识 (以 事实 和 规则 的 形式 体现 ) 和 丰富 经 验 的 人 ， 能 够 做 

他 人 做 不 到 的 事情 。 

e 专家 通常 以 产生 式 规 则 形式 表达 知识 。 

e 产生 式 规则 用 正 (PM) THEN (结论 ) 语句 表达 ， 它 是 最 常用 的 知识 表达 方式 。 关 系 、 

建议 、 指 示 、 策 略 以 及 启发 式 方法 都 可 以 用 规则 表达 。 

e 专家 系统 是 在 狭窄 问题 领域 具有 专家 水 平 的 计算 机 程序 。 基 于 规则 的 专家 系统 是 最 普及 的 

专家 系统 。 

e 开发 基于 规则 的 专家 系统 时 ， 框 架 逐 渐 成 为 常用 的 选择 。 专 家 系统 框架 是 没有 知识 的 专家 

系统 骨架 。 当 针对 应 用 构建 系统 时 ， 用 户 只 需 以 规则 形式 添加 知识 ， 并 提供 相关 数据 。 因 
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此 ， 专 家 系统 框架 大 大 降低 了 系统 的 开发 时 间 。 


e 专家 系统 团队 由 领域 专家 、 知 识 工程 师 、 程 序 员 、 项 目 经 理 以 及 终端 用 户 组 成 。 知 识 工程 


师 设 计 、 构 建 和 测试 专家 系统 ， 并 从 领域 专家 那里 获取 知识 ， 确 定 推 理 方法 ， 以 及 选择 开 
发 软件 。 当 使 用 专家 系统 框架 开发 小 型 系统 时 ， 项 目 经 理 、 知 识 工程 师 、 程 序 员 甚至 领域 
专家 都 可 能 是 同一 个 人 。 


e 基于 规则 的 专家 系统 包括 5 个 基本 组 成 部 分 : 知识 库 、 数 据 库 、 推 理 引 擎 、 解 释 设备 以 及 


用 户 界 面 。 知 识 库 包 含 用 一 系列 规则 表示 的 知识 。 数 据 库 包含 一 系列 事实 ， 用 于 和 规则 的 
IF 部 分 相 匹 配 。 推 理 引 擎 链接 规则 和 事实 ， 执 行 推理 ， 以 使 系统 得 出 解决 方案 。 解 释 设 
备 帮 助 用 户 查 询 系统 如 何 得 出 一 个 结论 ， 以 及 为 什么 需要 某 一 个 事实 。 用 户 界 面 则 是 用 户 
和 专家 系统 的 互动 途径 。 [52] 


e 专家 系统 将 知识 库 和 推理 引擎 分 隔 开 ， 以 分 离 知识 和 对 知识 的 处 理 ， 从 而 使 专家 系统 的 构 


建 和 维护 更 加 容易 。 当 使 用 专家 系统 框架 时 ， 知 识 工程 师 或 者 专家 只 需 将 知识 录 人 知识 
库 。 每 添加 一 条 新 规则 ， 都 会 扩充 知识 ， 也 使 专家 系统 更 聪明 。 


e 专家 系统 在 问题 - 解决 会 话 中 跟踪 被 触发 的 规则 ， 从 而 具备 一 定 的 解释 能 力 。 
e 专家 系统 能 够 处 理 不 完整 、 不 确定 的 数据 ， 也 允许 不 精确 的 推理 ， 这 不 同 于 传统 


程序 。 不 过 正如 人 类 专家 那样 ， 当 信息 不 完整 或 模糊 时 ， 专 家 系统 也 有 出 错 的 
时 候 。 


e 进行 搜索 和 推理 有 两 个 主要 方法 : 前 向 链接 和 后 向 链接 推理 技术 。 前 向 链接 是 数据 驱动 


的 : 从 已 知 数据 出 发 进行 推理 ， 直 到 没有 规则 可 以 被 激活 。 后 向 链接 是 目标 驱动 的 : 预先 
设 定 目标 ， 推 理 引 擎 负责 寻找 证 明 目 标的 论据 。 


e 如 果 在 一 个 循环 内 有 多 条 规则 满足 触发 条 件 ， 推 理 引 擎 必须 决定 该 触发 哪 条 规则 ， 这 种 行 


为 称 为 冲突 消解 。 


e 基于 规则 的 专家 系统 的 优点 是 : 能 够 有 自然 的 知识 表达 方式 ， 有 统一 的 结构 ， 知 识 和 对 知 


识 的 处 理 相 分 离 ， 能 处 理 不 完整 、 不 确定 的 知识 。 


e 基于 规则 的 专家 系统 的 缺点 是 : 规则 之 间 的 关系 不 透明 ， 搜 索 策略 低 效 ， 不 具备 学 习 


能 力 。 


复习 题 


2.1 
2.2 
2.3 
2.4 
2.5 
2.6 
2.7 
2.8 
2.9 
2. 10 
2.11 
2.12 


知识 是 什么 ? 解释 为 什么 在 特定 领域 的 有 限 范 围 内 专家 有 丰富 的 知识 。 什 么 是 启发 式 方法 ? 
产生 式 规则 是 什么 ? 举例 说 明 产 生 式 规则 的 两 个 必要 部 分 。 

列举 并 描述 专家 系统 开发 团队 的 5 个 主要 成 员 。 知 识 工程 师 的 任务 是 什么 ? 

什么 是 专家 系统 框架 ? 解释 为 什么 专家 系统 框架 会 大 大 降低 系统 的 开发 时 间 。 

什么 是 产生 式 系统 模型 ? 列举 并 描述 专家 系统 的 5 个 基本 组 成 部 分 。 

专家 系统 的 主要 特征 是 什么 ? 专家 系统 与 传统 程序 的 区 别 在 哪里 ? [53] 
专家 系统 会 出 错 吗 ? 为 什么 ? 

描述 前 向 链接 推理 技术 并 举例 。 

描述 后 向 链接 推理 技术 并 举例 。 

列举 前 向 链接 推理 技术 适合 解决 的 问题 。 为 什么 后 向 链接 适合 解决 诊断 问题 ? 

什么 是 规则 冲突 集 ? 怎么 解决 冲突 ? 列举 并 描述 基本 的 冲突 消解 方法 。 

列举 基于 规则 的 专家 系统 的 优 缺 点 。 
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本 章 主 要 介绍 不 确定 性 管理 范例 、 贝 叶 斯 推理 和 确信 因子 ， 讨 论 它 们 的 优 缺 点 ， 并 以 实例 阐 
述 这 些 理论 。 


3.1 不 确定 性 简介 


不 完美 是 可 供 人 类 专家 使 用 的 信息 的 共同 特点 之 一 。 信 息 可 能 是 不 完整 的 、 不 一 致 的 、 不 确 
定 的 ， 也 许 会 同时 有 这 3 个 方面 。 也 就 是 说 ， 这 样 的 信息 总 是 不 适合 于 解决 问题 。 然 而 ， 专 家 却 
能 应 对 这 些 缺 陷 ， 并 通常 做 出 正确 的 判断 和 决定 。 相 应 地 ， 专 家 系统 也 应 能 够 处 理 不 确定 因素 ， 
并 给 出 有 效 的 结论 。 

在 专家 系统 中 ， 不 确定 性 指 什么 

不 确定 性 是 指 , 不 具有 使 我 们 得 出 完美 可 信和 结论 所 需 的 准确 的 知识 (Stephanou and Sage, 
1987) 。 传 统 逻 辑 只 允许 精确 推理 ， 总 假设 存在 完善 知识 ， 并 总 能 使 用 排 中 律 : 


IF A is true 
THEN A is not false 


和 


IF B is false 
THEN B is not true 


然而 ， 用 专家 系统 来 解决 的 大 多 数 实际 问题 并 不 能 提供 精确 的 知识 ， 而 是 提供 不 精确 、 不 完 
整 甚至 不 可 测 的 数据 。 

专家 系统 中 不 确定 性 知识 的 来 源 是 什么 

我 们 一 般 将 来 源 分 为 4 种 : 弱 暗 示 、 不 精确 的 语言 、 未 知 数据 ， 以 及 合并 不 同 专家 观点 时 的 
困难 (Bonissone and Tong，1985 ) 。 下 面具 体 分 析 这 4 种 来 源 。 

e 弱 暗 示 。 基 于 规则 的 专家 系统 常 面临 弱 暗 示 和 模糊 联系 的 问题 。 在 确立 规则 的 IF (条 
TF) ATHEN (行为 ) 两 部 分 的 具体 关联 时 ， 领 域 专家 和 知识 工程 师 会 感到 棘手 ， 或 者 
难以 进行 。 因 此 ， 处 理 模 糊 联系 就 成 了 专家 系统 的 任务 ， 例 如 用 数值 型 确信 因子 表达 关 
联 度 。 
不 精确 的 语言 。 自 然 语 言 是 天 生 模 糊 、 不 精确 的 。 我 们 在 描述 事实 时 ， 会 用 到 “常常 、 
有 时 、 频 党 地、 几乎 不 ”之 类 的 术语 。 因 此 ， 难 以 用 精确 的 下 -THEN 产生 式 规则 表 
达 知 识 。 如 果 将 事实 含义 定量 化 ， 就 可 以 用 于 专家 系统 。1944 年 ，Ray Simpson 让 355 
个 高 中 生 或 大 学 生 对 20 个 类 似 “ 常 常 ” 的 术语 表达 为 1 ~ 100 范围 内 的 数值 (Simp- 
son, 1944) 。 在 1968 Æ, Milton Hakel 重 做 了 这 个 实验 (Hakel，1968) 。 结 果 如 表 3.1 
所 示 。 通 过 量化 术语 含义 ,使 专家 系统 能 建立 规则 的 下 (条件 ) 和 事实 之 间 的 恰当 
匹配 。 
未 知 数据 。 当 数据 不 完整 或 缺失 时 ， 唯 一 的 方法 是 将 值 设 为 “未 知 ”， 以 使 推理 继续 
下 去 。 
融合 不 同 专家 的 观点 。 大 型 专家 系统 通常 会 融合 多 个 专家 的 知识 和 经 验 。 例 如 ， 在 开发 
勘探 专家 系统 PROSPECTOR 时 ， 有 9 个 专家 参与 (Duda et al. ，1979 ) 。 不 过 ， 专 家 们 的 
结论 很 少 一致 。 观 点 不 同 导 致 规则 冲突 。 为 了 解决 冲突 ， 知 识 工程 师 需 要 为 每 位 专家 分 
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配 一 个 权重 ， 并 按 权 重 综合 各 方 结 论 。 事 实 上 ， 即 使 只 有 一 个 领域 专家 ， 他 的 经 验 水 平 
也 在 变化 。 另 外 ,不 存在 确定 权重 的 系统 性 方法 。 

总 之 ， 由 于 任何 实际 领域 都 包含 不 确定 知识 ， 专 家 系统 应 能 够 管理 不 确定 性 ， 能 够 处 理 不 完 
整 、 不 一 致 其 至 缺失 的 数据 。 在 基于 规则 的 专家 系统 中 ， 已 有 许多 数值 型 和 非 数 值 型 方法 来 处 理 
不 确定 性 (Bhatnagar and Kanal, 1986) 。 本 章 将 讨论 最 通用 的 不 确定 性 管理 范例 : 贝 叶 斯 推理 和 
确信 因子 。 下 面 首先 回顾 一 下 经 典 概率 论 的 基本 原理 。 


表 3.1 模糊 术语 、 不 精确 术语 在 时 间 频 率 范 围 上 的 量化 

















Ray Simpson (1944) Milton Hakel (1968) 

术语 均值 | 术语 均值 
Always 99 Always 100 
Very often 88 Very often 87 
Usually 85 Usually 79 
Often 78 Often 74 
Generally 78 Rather often 74 
Frequently 73 Frequently 72 
Rather often 65 Generally 72 
About as often as not 50 About as often as not 50 
Now and then 20 Now and then 34 
Sometimes 20 Sometimes 29 
Occasionally 20 Occasionally 28 
Once in a while 15 Once in a while 22 
Not often 13 Not often 16 
Usually not 10 Usually not 16 
Seldom 10 Seldom 9 
Hardly ever 7 Hardly ever 8 
Very seldom 6 Very seldom 7 
Rarely 5 Rarely 5 
Almost never 3 Almost never 2 
Never 0 Never 0 


3.2 概率 论 基本 知识 


概率 这 一 基本 概念 在 我 们 的 日 常生 活 中 扮演 着 重要 角色 ， 例 如 要 下 雨 的 概率 ， 得 到 提 
升 的 可 能 性 ， 澳大利亚 板 球 队 在 下 一 个 赛季 获胜 的 几率 ， 中 了 Tattslotto 彩票 百 万 美元 的 概 


率 等 。 


概率 的 概念 有 着 很 长 的 历史 ， 可 回 湖 到 上 千年 之 前 ， 那 时 口语 中 已 经 出 现 了 诸如 “proba- 
bly”. "likely", "maybe", "perhaps", "possibly" 之 类 的 词 (Good, 1959), 。 不 过 ， 概 率 的 数学 


理论 是 17 世纪 才 形 成 的 。 
如 何 定义 概率 


事件 的 概率 是 该 事件 发 生 所 占 的 比例 (Good，1959)。 概 率 也 可 以 定义 为 可 能 性 的 科学 度 
量 。Feller (1966; 1968) 和 Fine (1973) 写 的 两 本 著名 教材 中 对 现代 概率 理论 进行 了 详细 分 析 。 
本 章 仅 研究 在 专家 系统 中 与 不 确定 性 相关 的 基本 概率 概念 。 

概率 可 表示 为 0 (不 可 能 发 生 ) 到 1 (必然 发 生 ) 范围 内 的 数值 型 指标 。 大 部 分 事件 的 概率 
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指标 都 严格 限制 在 0 ~ 1 之 间 ， 这 意味 着 每 一 个 事件 至 少 有 两 个 结果 : 有 利 的 结果 或 成 功 ， 不 利 
的 结果 或 失败 。 
成 功 、 失 败 的 概率 计算 公式 可 表示 为 : 
成 功 次 数 


POR) = 二 能 结果 的 总 数 (3.1) 

失败 次 数 
(失败 ) = 可 能 结果 的 总 数 (3.2) 

PAUL, WRH s 表示 成 功 次 数 ， 六 表示 失败 次 数 ， 则 有 : 

Ej 

P( REI) =P af (3.3) 

00 f 
P( 失 败 ) = 4 = T (3.4) 

m 

p+q=1 (3.5) 


Jf, RNKABZRHME ARRAS. EWEN, ER LAR Lee 
H EKRIR, s=f=1, AUER (或 反面 ) 朝 上 的 概率 是 0. 5。 

BURR AB, TORRES 6 点 的 概率 。 假 设 我 们 的 目标 是 6 点 ， 由 于 单 次 投掷 
时 ， 仅 有 一 种 情况 是 6 点 ， 而 有 5 种 情况 不 是 6 点 ， 所 以 s =1, f=5。 得 到 6 点 的 概率 是 


1 
P= -0.1666 


结果 不 是 6 点 的 概率 是 
5 
q = 75 = 0. 8333 


到 现在 为 止 , BATT AT WE BS E E AB vr 8r Fe SEAR BBN AE), ERR HIS 
中 ,得 到 6 点 与 得 到 1 点 这 两 个 事件 就 是 互 斥 的 ,因为 不 可 能 在 一 次 投掷 中 同时 得 到 6 点 和 1 点 。 
同时 ,如果 事 件 不 独立 ,可 能 影响 其 他 事件 发 生 的 可 能 。 如 果 在 掷 骨 子 时 ,知道 1 点 不 会 出 现 ,我 们 
来 分 析 单 次 投掷 中 得 到 6 点 的 概率 。 虽 然 有 5 种 情况 不 会 出 现 6 点 ,由 于 1 点 不 会 出 现 ,就 排除 了 
1 种 情况 ,所 以 ， 
1 
PT4(5-1) 
车 4、B 是 真实 世界 中 的 事件 。 假 设 有 4、B 两 个 不 互 斥 的 事件 ,一 个 事件 的 发 生 条 件 依 赖 于 另 
一 个 事件 的 发 生 。 在 事件 B 发 生 的 基础 上 事件 4 发 生 的 概率 称 为 条 件 概 率 ,用 数学 形式 表示 为 p 
(418) PH BR“ 1" 表示 后 面 事件 已 发 生 。 完 整 的 概率 表达 式 可 理解 为 “在 事件 互 已 发 生 的 情 
况 下 ,事件 4 发 生 的 条 件 概率 ”。 
_4 和 都 发 生 的 次 数 (3.6) 


P(418) = 发 生 的 次 数 
4 和 B 都 发 生 的 概率 ， 称 为 4 和 8B 的 联合 概率 ， 它 的 数学 表达 形式 是 p(4mB)。 事 件 B RE 
的 次 数 ， 或 者 B 发生 的 概率 ， 用 p(B) 表示。 那么 有 : 
_p(ANB) 
p(A1B) eB) (3.7) 


类 似 地 ， 在 事件 A 发 生 的 前 提 下 ,事件 8 发 生 的 条 件 概率 是 
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_p(BNA) 
p(BIA) = P(A) (3.8) 
因此 ， 
p(BNA) =p(BIA) xp(A) (3.9) 


由 于 联合 概率 具有 可 交换 性 ， 则 有 : 
p(An B) =p(BNA) 


所 以 ， 
p(ANB) =p(BIA) xp(4) (3.10) 
将 公式 (3.10) 代入 公式 (3.7), WA: 
p(A1B) SENE EA (3.11) 
Hp: 


p(418) 是 在 事件 B 发 生 时 ,事件 4 发 生 的 条 件 概 率 ; 
p(B14) 是 在 事件 4 发生 时 事件 B 发生 的 条 件 概率 ; 
P(A) EB A 发生 的 概率 ; 
p(B) & 4 B 发生 的 概率 。 
公式 (3. 11) 就 是 贝 叶 斯 规则 ， 是 18 世纪 英国 数学 家 Thomas Bayes 首先 提出 了 该 规则 ， 以 
他 的 名 字 命 名 的 。 
前 面 所 讲 的 条 件 概率 的 概念 都 假定 事件 4 依赖 事件 BB。 贝 叶 斯 规则 可 以 扩展 为 事件 4 依赖 多 
个 互 斥 事件 Bl ，B,，…，B, 的 情况 。 可 将 公式 (3.7) 扩展 为 以 下 情况 : 
p(An B,) 2 p(A1B,) xp( Bi) 
p(ANB,) 2 p(418,) xp(B,) 


p(ANB,) 2 p(A1B,) xp(B,) 


或 合并 为 
Y p(AnB,) = > plAlB,) xp(B;) (3. 12) 
如 果 公式 (3.12) 包含 了 图 3.1 中 的 所 有 事件 B,, WEAR 
> »(4nB) =p(A) (3.13) 
Bi, AR (3.12) 变 为 下 面 形式 ; 
ES pA) = X p( 4182) xp(B,) (3.14) 


如 果 事 件 4 的 发 生 依 赖 于 两 个 互 斥 事件 ， 即 B 发 生 或 B 不 发 生 ， 
公式 (3.14) 则 变 为 下 面 形式 : 
p(A) =P(41B) xp(B) UNS xp(3B) (3.15) 
其 中 , ” 表示 逻辑 运算 符 NOT。 
同样 的 ， 
p(B) =p(BIA) xp(A) pl xp(7A) (3.16) mil 联合 概率 
将 公式 (3.16) RASA (3.11), 得 到 下 面 的 贝 叶 斯 规则 
公式 : 





p(BIA) x p(A) 
p(BIA) xp(A) *p(BI2A) xp(7A) (3. 17) 





p(AlB) = 
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公式 (3.17) 为 专家 系统 中 的 不 确定 性 管理 提供 了 概率 论 的 应 用 背景 。 


3.3 WMH 
有 了 公式 (3.17) ， 我 们 就 可 以 暂时 放下 基本 的 概率 理论 ， 将 注意 力 转移 到 专家 系统 上 。 假 
设 知识 库 中 的 所 有 规则 都 用 下 面 形式 表示 : 


IF E is true 
THEN H is true [with probability p] 


AU BA LEMIRE ERE, WFH AE RE p. 

如 果 事 件 E 已 发 生 ， 但 不 知道 事件 凡是 否 也 发 生 ， 怎 样 计算 崩 发 生 的 概率 

我 们 用 公式 (3.17) 就 能 回答 这 个 问题 。 我 们 现在 使 用 符号 已 和 已， 而 不 是 4 和 B。 对 于 专 
家 系统 ,各 表 示 假 设 ,E 表示 支持 假设 的 论据 。 我 们 用 五 和 EE 重 写 公 式 (3.17): 


_ p( EIA) x pOT) 
PCHIE) = ORT xp(H) + p(El>H) xp( 4H) (3. 18) 


其 中 : 

p(H) 是 假设 已 为 真 的 先 验 概 率 : 

p(EIH) 是 假设 五 为 真 时 导致 论据 E 的 概率 ; 

POH) 是 假设 瑟 为 假 的 先 验 概率 ; 

p(EISH) 是 在 假设 旦 为 假 时 发 现 证 据 E 的 概率 。 

公式 (3.18) 表明 在 假设 五 的 先 验 概 率 p(H) 必须 在 检验 证 据 前 定义 。 在 专家 系统 中 ， 解 
决 问题 时 需 用 到 的 概率 由 专家 提供 ， 专 家 定义 p(H) 和 pl 有 H) 这 两 个 先 验 概率 ， 以 及 条 件 概率 
P(E1H) 和 p(El-H)。 用 户 提 供 论 据 E 的 有 关 信息 ， 由 专家 系统 计算 p(HIE)。p( HIE) 称 为 
后 验 概率 。 

如 果 专 家 根据 单个 论据 E， 提 出 了 多 个 假设 HH 、 亿 、…、H,， 而 非 一 个 假设 ,或 给 定 多 个 

论据 E, 、E。、…、E,， 专 家 也 提供 了 多 个 假设 

可 以 将 公式 (3.18) 推广 到 包含 多 个 假设 五 、H,、…、H, 和 多 个 论据 E, E. co. E BIER 
f. 假设 和 论据 都 必须 是 互 斥 且 完 备 的 。 

对 于 单个 论据 E 和 多 个 假设 有、H,、…、H, 的 情况 ， 有 下 面 公式 : 
p(E1H,) xp(H.) 
>, (EI) x p(H,) 


对 于 多 个 论据 EE, 、E,、…、E, 和 多 个 假设 Hl、H,、…、H, 的 情况 ， 则 有 : 


p(H,| E,Ey--E,) = ZEEE UL) x pCH) (3. 20) 


2 P(E EE, 1H,) x p(H,) 


在 应 用 公式 (3.20) 时 ， 需 要 论据 和 假设 所 有 可 能 组 合 的 条 件 概率 。 这 对 于 专家 来 说 是 个 
巨大 的 负担 ， 实 际 上 不 可 能 完成 。 所 以 ， 在 专家 系统 中 ， 可 忽略 微小 的 论据 ， 并 假设 论据 间 条 件 
独立 (Ng and Abramson, 1990), 。 因 此 我 们 得 到 了 下 面 的 公式 


p(H, IE E,-—E,) = CE, |H,) x p(E, TH) x +++ x p(E,1H,) x p(H.) (3.21) 


Y p(E, 1H,) x p(E, lH,) x+ x p(E,1H,) x p(H,) 


专家 系统 怎样 计算 所 有 的 后 验 概率 ， 并 对 真 假设 按 可 能 性 排名 
考虑 一 个 简单 的 例子 。 假 设 有 3 个 条 件 独立 的 论据 E, 、E,、E,， 让 专家 构造 3 个 互 斥 且 完 备 


p(H.IE) = (3.19) 
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的 假设 忆 、 了 下、 及 ,并 提供 了 这 些 假 设 的 先 验 概率 pH) pH). p), [IEDSEE8E— MB 
设 ， 也 确定 了 每 一 个 论据 的 条 件 概率 。 表 3. 2 为 专家 提供 的 先 验 概率 和 条 件 概率 。 


表 3.2 先 验 概率 和 条 件 概率 











假设 
概率 
i=l i=2 i=3 
p(H;) 0. 40 0. 35 0. 25 
p(E 1H;) 0.3 0.8 0.5 
pCE,IH;) 0.9 0. 0 0.7 
p(E;1H;) 0.6 0.7 0.9 





假定 我 们 首先 看 到 了 论据 E,， 专 家 系统 按照 公式 (3.19) 计算 所 有 假设 的 后 验 概率 : 











E, IH, H, 
pH, V E,) = P(E IH) xp(H) i =1,2,3 
Y p(E,1H,) xp(H,) 
k=l 
因此 ， 
0.6 x 0.40 
PCH, E) = 906x040 40.7 x0.35 40.9 x0.25 7 034 
0.7 x 0.35 
pU, | Ey) = 060.40 40.7 x0.35 40.9 x0.25 7 0 94 
p(H, | E,) - 0.9 x 0.25 = 0.32 


0.6 x 0.40 +0.7 x 0.35 +0.9 x 0.25 

可 以 看 出 ， 当 观察 到 论据 肪 后 ， 假 设 及 的 可 信和 度 降 低 ， 和 下 的 可 信和 度 相 同 。 假 设 束 的 可 信 
度 增加 ， 几 平和 H,、H, 的 可 信和 度 相等 。 

现在 假设 又 得 到 了 论据 E,， 用 公式 (3.21) 计算 后 验 概率 : 


p(HIEE,) = P(E, 1H.) xp(E, IH) x p( H;) i = 1,2,3 


> PCE, |H,) x p( E, |H,) x p( H,) 
所 以 有 ， 


0. 3 x0. 6 x 0. 40 

PCH, TELE.) 70.3x0.6 x0. 40 +0. 8 x0.7 x0.35 «0.5 x0.9 x0.25 -0.19 
0. 8 x0. 7 x 0. 35 -0.52 

0.3x0.6 x0. 40 +0.8 x0.7 x0. 35 40.5x0.9x0.25 ` 

0. 5 x0. 9 x0. 25 -0 .29 


0.3 x0. 6 x0. 40 +0. 8 x0. 7 x0. 35 +0. 5 x0. 9 x0. 25 
SUEQUH,MIRTRETERCK, MHA, HYH REESE T E 
假设 又 观察 到 了 论据 E, ， 专 家 系统 就 可 以 计算 所 有 假设 最 终 的 后 验 概率 。 


E 1H.) x p(E,ÀIH,) x p(E,|H,) x p(H, 
p( HAE E,E,) = pA 1 i) pl 2 1H,) X p(E,1H;) xp( 3 ， i = 1,2,3 


Y p, |H,) x p( E, |H,) x p( E, |H,) x p( H,) 








p(H, VE, E,) = 








p(H,\E,E,) = 





因此 ， 


p(H,1E,E,E,) = 0. 3 x0. 9 x0. 6 x0. 40 


0.3 x0. 9 x0. 6 x0. 40 +0. 8 x0.0 x0.7 x0.35 40. 5 x0.7 x0.9 x0.25 
=0. 45 
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0. 8 x0.0 x0.7 x0. 35 
0.3 x0.9 x0. 6 x0. 40 £0. 8 «0.0 x0.7 x0. 35 40. 5 x0. 7 x0.9 x0. 25 


=0 





p(H,IE,E,E,) = 


0. 5 x0.7 x0.9 x0.25 
0. 3 x0.9 x0.6 x0. 40 £0. 8 x0.0x0.7 x0.35 40. 5 x0. 7 x0.9 x0. 25 


=0. 55 
尽管 专家 按 可 能 性 对 3 个 假设 的 最 初 排名 是 H, LH, LH. ， 在 观察 到 3 个 论据 (E, E, E, ) 
Ia, RREH 、H,， ， 可 以 放弃  。 通 过 计算 我 们 认为 H, 的 可 能 性 要 大 于 已 。 
用 于 勘探 的 专家 系统 PROSPECTOR 是 第 一 个 使 用 贝 叶 斯 规则 计算 p HIE) 并 在 系统 中 传送 
不 确定 性 的 专家 系统 (Duda et al. , 1979) 。 下 面 用 一 个 简单 的 例子 来 解释 专家 系统 中 的 贝 叶 斯 
推理 。 


3.4 FORECAST: 论据 累积 的 贝 叶 斯 方法 


现在 我 们 开发 一 个 解决 实际 问题 (如 天 气 预报 ) 的 专家 系统 。 系 统 功能 是 预测 明天 是 否 下 
雨 ， 它 需要 一 些 实际 数据 ， 这 可 以 从 气象 局 得 到 。 

表 3.3 总 结 了 伦敦 在 1982 年 3 月 的 气象 数据 ， 包 括 每 天 的 最 低 、 最 高 温度 ， 降 雨量 和 日 照 
时 间 。 如 果 一 天 的 降雨 量 为 零 ， 则 说 明 一 天 不 下 雨 。 

专家 系统 所 能 提供 的 结果 有 两 个 : tomorrow is rain (HKF), tomorrow is dry (明天 不 下 
雨 ) ， 以 及 这 两 个 结果 的 可 能 性 。 也 就 是 说 ， 专 家 系统 必须 给 出 “明天 下 雨 ”"、“ 明 天 不 下 雨 ” 这 
两 个 假设 的 条 件 概率 。 

在 应 用 贝 叶 斯 规则 〈 公 式 (3.18) ) 前, 我们 必须 提供 这 两 个 假设 的 先 验 概率 。 

首先 根据 提供 的 数据 写 下 两 条 基本 规则 ， 用 它们 预报 明天 的 天 气 。 


Rule: 1 
IF today is rain 
THEN tomorrow is rain 





p(H,\E,E,E,) = 


Rule: 2 
IF today is dry 
THEN tomorrow is dry 


有 了 这 两 条 规则 ， 我 们 顶 多 犯 10 次 错误 ， 每 次 畏 天 后 是 雨天 ， 雨 天 后 是 晴天 。 所 以 两 个 假 
设 的 先 验 概率 都 是 0.5。 接 下 来 以 下 面 形 式 重 写 规则 : 


Rule: 1 
IF today is rain (LS 2.5 LN .6} 
THEN tomorrow is rain [prior .5} 


Rule: 2 
IF today is dry (LS 1.6 LN .4} 
THEN tomorrow is dry [prior .5} 


表 3.3 198243 月 伦敦 天 气 总 结 








































H 最 低温 度 CC) | 最 高 温度 CC) | 降雨 量 (mm) 

1 9.4 11.0 3.2 下 雨 — 
2 4.2 12. 5 6.2 TH FW 
3 7.6 u.2 1.1 TH THE 
4 5.7 10. 5 4.3 晴天 THO 
5 3.0 12.0 9.5 晴天 晴天 
6 4.4 9.6 3.5 晴天 晴天 
7 4.8 9.4 10.1 TH TH 
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(E) 























































最 低温 度 CC) | 最 高 温度 CC) | 降雨 量 (mm) 
8 1.8 | 9.2 5.5 TH 
9 2.4 10.2 4.8 4.1 下 雨 
10 5.5 .12.7 4.2 3.8 下 雨 
11 3.7 10. 9 4.4 9.2 CH 
12 5.9 10.0 4.8 7.1 下 雨 
13 3.0 11.9 0.0 8.3 Fre 
14 5.4 12.1 4.8 1.8 晴天 
15 8.8 9.1 8.8 0.0 "FH 
16 2.4 8.4 3.0 3.1 下 雨 
17 4.3 10.8 0.0 4.3 晴天 
18 3.4 11.1 4.2 6.6 TH 
19 4.4 8.4 5.4 0.7 下 雨 
20 5.1 7.9 3.0 0.1 TH 
21 4.4 7.3 0.0 0.0 晴天 
22 5.6 14.0 0.0 6.8 晴天 
23 5.7 14.0 0.0 8.8 晴天 
24 2.9 13.9 0.0 9.5 晴天 
25 5.8 16.4 0.0 10.3 晴天 
26 3.9 i 17.0 0.0 9.9 晴天 
27 3.8 18.3 0.0 8.3 晴天 
28 5.8 15.4 3.2 7.0 晴天 2 
29 6.7 8.8 0.0 4.2 HX 
30 4.5 4.8 下 雨 
4.6 3.2 











(QD 表示 预报 错误 。 


LS 的 值 是 在 论据 E 存在 时 ， 专 家 估计 假设 五 的 可 能 性 ， 称 为 充分 性 似 然 值 ， 定 义 为 p( EI1H) 
5j p( EIS H) REGIE S 


_ pl EMI) 
“~p(EI-H) (3.22) 


在 我 们 的 例子 中 ，LS 是 在 明天 下 雨 的 情况 下 ， 今 天 下 雨 的 概率 ， 除 以 如 果 明天 不 下 雨 , 今 
天 下 雨 的 可 能 性 ， 
is -_p( 今 天 下 雨 1 明天 下 雨 ) 
P( 今 天 下 十 | 明天 不 下 雨 ) 
LN 则 是 在 没有 论据 互 时 ， 假 设 妃 不 被 信任 的 度量 ， 也 称 为 必要 性 似 然 值 ， 计 算 公式 是 


_ p(^ EHI) 
LN - GENH) (3.23) 


在 我 们 的 例子 中 ，LN 表示 在 明天 下 雨 的 情况 下 今天 不 下 雨 的 概率 ， 除 以 如 果 明 天 不 下 雨 ， 
今天 不 下 十 的 概率 ， 


LN -2( 今 天 不 下 十 1 明天 下 雨 ) 
P( 今 天 不 下 雨 1 明天 不 下 雨 ) 


AE, MLS 的 计算 公式 不 能 推出 LY， 领域 专家 必须 分 别提 供 这 两 个 值 。 
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领域 专家 如 何 确 定 充 分 性 似 然 值 和 必要 性 似 然 值 呢 ? 需要 他 们 处 理 条 件 概 率 吗 
为 了 确定 IS 和 LN 的 值 ， 专 家 不 必 给 出 精确 的 条 件 概率 值 ， 而 是 直接 确定 似 然 值 。ZS 值 大 
(LS21) 就 表明 在 论据 存在 时 规则 强烈 支持 假设 ，LN 值 小 (0 < LN<1) 表明 在 论据 不 存在 时 规 
则 强烈 反对 假设 。 
由 于 从 LS 和 LN 的 似 然 值 可 以 轻易 地 算出 条 件 概率 ， 就 可 以 使 用 贝 叶 斯 规则 来 传送 论据 。 
现在 继续 看 伦敦 天 气 的 例子 。 规 则 1 说 明 ， 如 果 今 天 下 雨 ， 明 天 也 下 雨 的 可 能 性 就 很 大 (LS = 
2.5)。 即 使 今天 不 下 雨 ， 明 天 也 可 能 有 雨 (LN =0.6)。 
规则 2 则 考虑 了 不 下 雨 的 情况 。 如 果 今 天 不 下 雨 ， 明 天 也 很 有 可 能 不 下 雨 (LS = 1.6)s 
而 在 今天 下 雨 的 情况 下 ， 明 天 下 两 的 概率 要 高 于 在 今天 不 下 雨 的 情况 下 ， 明 天 也 不 下 雨 的 概 
率 。 为 什么 呢 ? LS 和 LN 的 值 通常 由 领域 专家 给 出 。 在 天 气 预 报 的 例子 中 ，LS 和 LN 的 值 可 以 
由 气象 局 发 布 的 统计 信息 来 确认 。 规 则 2 也 给 出 了 在 今天 下 十 的 情况 下 明天 不 下 雨 的 可 能 性 
(LN 20.4), 
专家 系统 怎样 得 到 明天 不 下 雨 或 下 雨 的 全 部 的 概率 
基于 规则 的 专家 系统 将 后 项 的 先 验 概率 p H) 转换 为 先 验 几 率 。 
H 
O(H) = UD (3.24) 
仅 在 第 一 次 调整 后 项 的 不 确定 性 时 ， 才 使 用 先 验 概率 。 为 了 计算 后 验 几 率 ， 当 规则 的 前 项 
( 即 论据 ) 为 真 时 ， 使 用 LS 更 新 先 验 几 率 。 当 规则 的 前 项 假 时 ， 使 用 ZN 更 新 先 验 几 率 。 


O(HIE) - LS x OCH) (3.25) 
和 
O(HISE) 2 LN x O(H) (3.26) 
再 使 用 后 验 几率 来 恢复 后 验 概率 : 
|. O(HIE) 
p(HIE) = T+ 0(HIE) (3.27) 
Al 
| O(HI-E) 
PCHISE) = OCHE) (3.28) 


用 伦敦 天 气 的 例子 解释 这 一 方法 的 用 法 。 假 设 用户 指 出 今天 下 雨 ， 规 则 1 被 触发 ， 明 天 下 雨 


的 先 验 概率 转换 为 先 验 几率 : 
0( 明 天 下 雨 ) - 
今天 下 雨 的 论据 将 几率 增加 了 2.5 伴 ， 所 以 明天 下 雨 的 概率 从 0. 5 增加 到 0.71; 
0( 明 天 下 雨 | 今 天 下 十 ) =2.5 x1.0=2.5 
pOBX FIBI ACER 23-0 
规则 2 也 被 触发 。 明 天 不 下 雨 的 先 验 概率 转换 为 先 验 几率 ， 但 今天 下 雨 的 论据 将 几率 减 小 到 
0.4。 明 天 不 下 雨 的 概率 就 从 0.5 变 为 0.29: 
0( 明 天 不 下 雨 ) 3 =1.0 
0( 明 天 不 下 十 | 今天 下 雨 ) =0.4 x1.0=0.4 


P( 明 天 不 下 两 | 今天 下 两) = 3 20.29 





=1.0 
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结论 是 ， 如 果 今 天 下 雨 ， 明 天 下 雨 的 可 能 性 是 71% ， 不 下 雨 的 可 能 性 是 29% 。 

如 果 用 户 输入 今天 不 下 雨 。 同 样 的 方式 可 计算 出 明天 不 下 十 的 可 能 性 是 62% ， 下 雨 的 可 能 
性 是 38% 。 

研究 了 论据 的 贝 叶 斯 规则 的 基本 原理 后 ， 我 们 可 以 向 专家 系统 中 添加 新 知识 。 首 先 我 们 需 
要 确定 天 气 发 生变 化 的 条 件 。 通 过 对 表 3. 3 中 的 数据 进行 分 析 ， 我 们 建立 了 如 下 知识 库 (使 用 了 


专家 系统 框架 Leonardo) 。 
知识 库 
/* FORECAST: BAYESIAN ACCUMULATION OF EVIDENCE 
control bayes 
Rule: 1 
if today is rain (LS 2.5 LN .6] 
then tomorrow is rain [prior .5] 
Rule: 2 
if today is dry {LS 1.6 LN .4} 
then tomorrow is dry {prior .5} 
Rule: 3 
if today is rain 
and rainfall is low {LS 10 LN 1} 
then tomorrow is dry [prior .5} 


Rule: 4 

if today is rain 

and rainfall is low 

and temperature is cold {LS 1.5 LN 1} 
then tomorrow is dry {prior .5} 


if today is dry 
and temperature is warm (LS 2 LN .9} 
then tomorrow is rain [prior .5] 


if today is dry 

and temperature is warm 

and sky is overcast (LS 5 LN 1| 
then tomorrow is rain [prior .5] 


/* The SEEK directive sets up the goal of the rule set 

seek tomorrow 

对 话 

根据 用 户 提供 的 信息 ， 专 家 系统 判断 明天 是 否 不 下 雨 。 用 户 提供 的 内 容 用 箭头 标 出 。 如 果 降 
雨量 少 于 4. lmm， 则 为 低 降 雨量 。 如 果 日 平均 气温 等 于 或 低 于 7. 0 ， 则 认为 天 气 寒冷 ， 如 果 高 
于 7.0% ， 则 认为 天 气 暖 和 。 如 果 日 照 时 间 低 于 4. 6h， 则 认为 是 阴 天 。 


What is the weather today? 
=> rain 


Rule: 1 
if today is rain {LS 2.5 LN .6} 
then tomorrow is rain [prior .5} 


0.5 


Xt is rain) = —— = 1. 
O(tomorrow is rain) 1-05 1.0 


O(tomorrow is rain | today is rain) = 2.5 x 1.0 = 2.5 


2.5 


izz5 971 





p(tomorrow is rain | today is rain) = 


tomorrow is rain [0.71] 


Rule: 2 
if today is dry (LS 1.6 LN .4] 
then tomorrow is dry [prior .5} 


0.5 


i-os-!? 


Ot tomorrow is dry) = 


Oi tomorrow is dry | today is rain) = 0.4 x 1.0 = 0.4 


p(tomorrow is dry | today is rain) = 47 0.29 


1+0. 
tomorrow is rain {0.71} 

dry {0.29} 
What is the rainfall today? 


= low 


Rule: 3 

if today is rain 

and rainfall is low {LS 10 LN 1} 
then tomorrow is dry (prior .5} 


0.29 
1— 0.29 


O(tomorrow is dry | today is rain N rainfall is low) = 10 x 0.41—4.1 


O(tomorrow is dry) = = 0.41 


p(tomorrow is dry | today is rain n rainfall is low) = LU = 0.80 


tomorrow is dry — (0.80) 
rain {0.71} 


What is the temperature today? 
= cold 


Rule: 4 

if today is rain 

and rainfall is low 

and temperature is cold [LS 1.5 LN 1} 
then tomorrow is dry [prior .5] 


0.80 


1-080 -* 


O(tomorrow is dry) = 


第 3 章 ”基于 规则 的 专家 系统 中 的 不 确定 性 管理 ”45 


O(tomorrow is dry | today is rain N rainfall is low N temperature is cold) 


2150x4-6 


p(tomorrow is dry | today is rain N rainfall is low N temperature is cold) 


6 
“Tre 086 
tomorrow is dry {0.86} 


rain {0.71} 


Rule: 5 

if today is dry 

and temperature is warm (LS 2 LN .9} 
then tomorrow is rain [prior .5] 


" 0.71 
O( tomorrow is rain) = 1o07” 2.45 
O(tomorrow is rain | today is not dry N temperature is not warm) = 0.9 x 2.45 =2.21 
"M ; . 231 
P(tomorrow is rain | today is not dry N temperature is not warm) = i221” 0.69 


tomorrow is dry {0.86} 
rain {0.69} 


What is the cloud cover today? 
= overcast 
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Rule: 6 

if today is dry 

and temperature is warn 

and sky is overcast {LS 5 LN jj 
then tomorrow is rain [prior .5} 


0.69 2223 


Ottomorrow is rain) 一 12069 





Ottomorrow is rain | today is not dry N temperature is not warm O sky is overcast) 
= 1.0 x 2.23 = 2.23 


p(tomorrow is rain | today is not dry N temperature is not warm N sky is overcast) 
2.23 


*14223 ^ 999 


tomorrow is dry [0.86] 
rain {0.69} 
这 说 明 两 个 假设 “明天 不 下 雨 "、“ 明 天 下 雨 ”都 极 有 可 能 发 生 ， 但 前 者 的 可 能 性 更 高 。 
从 表 3.3 可 以 看 出 专家 系统 仅 犯 过 4 次 错误 ， 成 功率 是 86% ， 比 同样 预测 伦敦 天 气 的 Naylor 
(1987) 结果 还 要 好 。 


3.5 贝 叶 斯 方法 的 偏差 


贝 叶 斯 推理 框架 需要 概率 值 作 为 初始 输入 。 对 这 些 值 的 估计 常常 需要 人 的 评判 。 不 过 心理 
研究 表明 ， 人 给 出 的 概率 值 要 么 与 贝 叶 斯 规则 不 一 致 ， 要 么 做 得 很 糟糕 (Burns and Pearl, 1981; 
Tversky and Kahneman，1982) 。 这 说 明 条 件 概率 可 能 与 专家 提供 的 先 验 概率 不 一 致 。 例 如 ， 一 辆 
汽车 不 能 启动 ， 在 按 下 启动 按钮 时 发 出 奇怪 的 噪声 。 如 果 汽 车 发 出 奇怪 的 噪声 ， 故 障 出 在 启动 按 
钮 上 的 条 件 概 率 可 表达 为 


IF the symptom is ‘odd noises’ 
THEN the starter is bad {with probability 0.7} 


而 如 果 汽 车 发 出 奇怪 的 噪声 ， 故 障 不 在 启动 按钮 上 的 条 件 概率 是 
p(starter is not badlodd noises) = p( starter is goodl odd noises) =1 -0.7 20.3 
所 以 ， 我 们 有 另外 一 条 规则 


IF the symptom is ‘odd noises’ 
THEN the starter is good {with probability 0.3} 


领域 专家 在 处 理 条 件 概率 时 并 不 轻松 ， 经 常 否定 隐 仿 概率 的 存在 〈 在 汽车 例子 中 隐 含 概率 
是 0.3)。 
在 本 例 中 ,通过 可 用 的 统计 信息 和 经 验 学 习 ， 可 以 得 到 下 面 两 条 规则 : 


IF the starter is bad 
THEN the symptom is ‘odd noises' [with probability 0.85] 


IF the starter is bad 
THEN the symptom is not ‘odd noises’ {with probability 0.15} 


要 使 用 贝 叶 斯 规则 ， 还 必须 有 先 验 概 率 ， 即 当 汽车 不 能 启动 时 ， 启 动 按钮 有 故障 的 概率 。 这 


需要 专家 来 提供 。 假 设 专家 认为 这 一 概率 是 5% ， 我 们 应 用 贝 叶 斯 规则 得 到 下 面 的 式 子 : 


. . E 0. 85 x0. 05 _ 
pl starter is bad | odd noises) 70.85 x0. 05 40. 15 x0. 05 =0. 23 


这 个 值 远 低 于 最 初 由 专家 提供 的 估计 值 0.7。 

为 什么 会 不 一 致 ? FRAT 

最 明显 的 原因 是 专家 在 估计 条 件 概率 和 先 验 概率 时 做 了 不 同 的 假设 。 我 们 试 着 从 后 验 概率 
(starter is badlodd noises) 倒 推 先 验 概 率 p( starter is bad) 。 在 本 例 中 ， 可 以 假设 


p(starter is good) =1 — p(starter is bad) 
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根据 公式 (3. 18 ) ， 我 们 得 出 
(HIE) xp(EI-H) 
PCH) = HIE) xp(El>H) & p EMD [1 - p(HLE) ] 

其 中 : 

p(H) = p(starter is bad): 

p( HIE) = pistarter is bad | odd noises): 

P(E|H) = ptodd noises | starter is bad): 

P(E|-H) = p(odd noises | starter is good), 

如 果 我 们 使 用 专家 提供 的 p (starter is bad | odd noises) 的 值 0.7 作为 正确 值 ，p(starter is bad) 
的 先 验 概率 应 该 是 

PD = OFX, $3085 xd 79,7; 979 

这 个 值 几乎 是 专家 提供 的 值 5 多 的 6 倍 。 因 此 专家 应 该 对 先 验 概率 和 条 件 概率 分 别 进行 不 同 
的 估计 。 

事实 上 ， 由 专家 提供 的 先 验 概率 也 会 与 充分 性 似 然 值 5S、 必要 性 似 然 值 LN 不 一 致 。 已 有 若 
干 方法 处 理 这 一 问题 (Duda et al ，1976) 。 最 常用 的 技术 是 分 段 线性 插值 模型 (Duda et al. , 
1979 ) ， 首 次 应 用 在 PROSPECTOR "P, 

要 使 用 贝 叶 斯 规则 ， 我 们 必须 满足 多 个 假定 条 件 ， 如 针对 假设 和 道 假设 , 论据 间 都 应 是 条 件 
独立 的 。 由 于 很 少 有 实际 问题 满足 这 些 假定 条 件 ， 使 用 贝 叶 斯 推理 的 系统 并 不 多 ， 用 于 矿产 勘探 
的 专家 系统 PROSPECTOR 是 其 中 之 一 (Duda et al. , 1979), 


3.6 确信 因子 理论 和 基于 论据 的 推理 


确信 因子 理论 是 常用 的 替代 贝 叶 斯 推理 的 方法 ， 这 一 理论 的 基本 原理 首次 出 现在 MYCIN H, 
这 是 一 个 用 于 诊断 、 治 疗 传染 性 血液 病 和 脑膜 炎 的 专家 系统 (Shortliffe and Buchanan, 1975), 
MYCIN 的 开发 者 发 现 ， 医 学 专家 通常 用 既 不 符合 逻辑 一 致 性 或 数学 一 致 性 的 方式 表达 术语 的 可 
信和 度 。 此 外 ， 不 存在 问题 领域 相关 的 可 信赖 的 统计 数据 。 所 以 ，MYCIN 团队 不 能 使 用 传统 概率 
方法 。 于 是 ， 他 们 决定 用 确信 因子 (certainty factor, cf) 来 衡量 专家 对 术语 的 可 信和 度 。 确 信和 因子 
的 最 大 值 是 +1.0 ( 真 )， 最 小 值 是 -1.0 ( 假 )。 正 值 表示 可 信和 度 ， 负 值 表 示 不 可 信和 度 。 例 如 ， 
如 果 专 家 说 一 个 论据 几乎 是 真 的 ， 将 对 cf 值 赋值 0.8。 表 3.4 是 MYCIN 系统 中 的 一 些 不 确定 性 
术语 (Durkin, 1994) , 





R34 不 确定 性 术语 及 其 解释 





术语 确信 因子 
Definitely not -1.0 
Almost certainly not -0.8 
Probably not -0.6 
Maybe not -0.4 
Unknown -0.2 ~ +0.2 
Maybe +0.4 
Probably +0.6 
Almost certainly +0.8 
Definitely +1.0 


——————————————————————————————————— 
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在 使 用 确信 因子 的 专家 系统 中 ， 知 识 库 中 规则 的 语法 是 ; 
THEN Shypothesis> {cf } 


其 中 ，of 是 论据 E 发 生 时 假设 五 的 可 信和 度 。 

可 信 度 理论 基于 两 个 函数 : 可 信和 度 的 度量 MB (H, E), 不 可 信和 度 的 度量 MD (H, E) 
(Shortliffe and Buchanan, 1975) 。 这 两 个 函数 分 别 表示 在 论据 已 出 现时 ， 假 设 忌 的 可 信 度 的 增加 
程度 和 不 可 信 度 的 增加 程度 。 

可 信 度 和 不 可 信 度 可 通过 先 验 概率 、 条 件 概率 计算 (Ng and Abramson, 1990) ; 

1 7i p(H) =1 








MB(H,E) 7 «max [p( HIE) ,p( H) ] -p(H) (3. 29) 
| max[1,0] - p(H) 否则 
1 车 p(H) =1 
MD(H,E) = [sip ,p(H)] - pCH) (3.30) 
min[1,0] - p) 否则 


其 中 : 

p(H) 是 假设 豆 为 真 的 先 验 概率 ; 

p(H| E) 是 给 定论 据 五 时 假设 互 为 真 的 概率 。 

MB(H,E) 和 MD(H,E) 的 取 值 范围 都 介 于 0 ~1 之 间 。 假 设 豆 的 可 信和 度 和 不 可 信和 度 都 依赖 论 
据 互 的 类 型 。 有 些 事实 可 能 会 提高 可 信和 度 , 而 有 些 事实 可 能 会 提高 不 可 信和 度 。 

如 何 确定 假设 的 可 信和 度 和 不 可 信和 度 的 总 体 情况 

使 用 下 面 的 公式 将 可 信和 度 和 不 可 信和 度 综 合 为 一 个 数值 , 即 确信 因子 : 

MB(H,E) - MD(H,E) 
d-i - min| MB(H,E) ,MD(H,E) ] 

Fk, of 表达 了 假设 五 的 总 体 可 信和 度 ， 它 在 MYCIN 中 的 范围 是 -1 ~ +1, 

可 以 通过 一 个 例子 来 说 明 MYCIN 中 的 方法 。 考 虑 下 面 一 条 简单 的 规则 : 

THEN BisY 

专家 通常 不 能 保证 这 个 规则 绝对 有 效 。 在 一 些 情况 下 ， 即 使 规则 的 正 部 分 条 件 成 立 ， 
即 对 象 4 的 值 是 卫 ， 对 象 了 也 可 能 有 不 同 的 Z 值 。 也 就 是 说 ， 我 们 讨论 的 是 准 统计 的 不 确 
定性 。 

当 4 取 值 时 ， 专 家 通常 会 将 B 的 每 一 个 可 能 值 关联 上 一 个 确信 因子 。 因 此 ， 规 则 应 该 像 
下 面 的 形式 : 

IF Ais xX 


THEN Bis ¥Y {cf 0.7]; 
Bis Z {cf 0.2] 


另外 1096 MKT 

这 个 规则 的 意思 是 ,假定 4 的 值 是 X， 则 8 取 Y 值 的 概率 是 70% ， 取 Z 值 的 概率 是 20% , 
取 其 他 值 的 概率 是 另外 10% 。 就 是 专家 保留 了 对 象 B 取 Y 和 7 之 外 其 他 取 值 的 可 能 性 。 所 以 ， 
对 象 8 被 赋 子 了 多 个 值 。 

规则 中 的 确信 因子 通过 推理 链 来 传送 。 确 信 因 子 的 传送 还 包括 当 规则 前 项 中 的 论据 不 确定 
时 ， 确 立 规则 后 项 的 净 确信 度 。 单 个 规则 前 项 的 净 确信 度 CH, E) ， 可 以 由 规则 前 项 的 确信 因 
FAE) 乘 以 规则 的 确信 因子 of 得 到 

d(H,E) = (E) xf (3.32) 





(3.31) 


例如 ， 
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IF the sky is clear 
THEN the forecast is sunny (cf 0.8} 


“sky is clear” 的 当前 确信 因子 是 0.5， 那 么 
cf( H,E) =0.5 x0.8 =0.4 
按照 表 3.4， 这 个 结果 意味 着 “可 能 晴天 ”。 
对 于 有 多 个 前 项 的 规则 ， 专 家 系统 如 何 计 算 确 信和 因子 
对 于 合 取 规则 ， 例 如 : 


IF «evidence E, > 
AND «evidence Ez > 


AND «evidence E,» 
THEN «hypothesis H > {cf} 


后 项 的 净 确 信和 度 ， 即 假设 的 确信 和 度 用 以 下 公式 计算 : 
of(H,E NE NM QE,) 2 min[ f(E,) ,of( ) fE) ] x f (3. 33) 
例如 ， 


IF Sky is clear 
AND the forecast is sunny 
THEN the action is ‘wear sunglasses’ [cf 0.8] 


“sky is clear" 的 确信 和 度 是 0.9,“the forecast is sunny" 的 确信 度 是 0.7， 那 么 
of HE, NE,) =min[0.9,0.7] x0.8 =0. 7 x0. 8 =0. 56 

根据 表 3.4， 结 论 可 以 解释 为 “或 许 今天 适合 戴 太阳 镜 ”。 

对 于 析 取 规则 ， 如 


IF «evidence E; > 
OR «evidence E2 > 


OR «evidence E,» 
THEN «hypothesis H» {cf} 


假设 五 的 确信 和 度 通过 下 式 计算 : 
FH,E UE, UUE,) 2 max[ of(E,) ,of(E,) of E,) ] xof (3. 34) 
例如 ， 


IF sky is overcast 
OR the forecast is rain 
THEN the action is ‘take an umbrella’ [cf 0.9] 


“sky is overcast” 的 确信 度 是 0.6,“forecast is rain” 的 确信 和 度 是 0.8， 风 
cf( H,E, UE,) =max[0.6,0.8] x0.9=0.8 x0.9=0.72 
结论 可 解释 为 “今天 几乎 肯定 是 要 带 上 雨伞 ”。 
有 时 两 个 或 更 多 的 规则 会 影响 到 同一 个 假设 ， 这 种 情况 下 专家 系统 怎么 办 
当 同 一 个 结论 要 由 两 个 或 多 个 规则 共同 推出 时 ， 必 须 合 并 它们 的 确信 因子 ， 以 得 出 假设 的 
确信 因子 。 假 设 知识 库 中 有 如 下 规则 : 


Rulel: IF Ais X 
THEN CisZ [cf 0.8] 


Rule 2: IF BisY 
THEN Cis Z [cf 0.6] 


如 果 规 则 1 和 规则 2 都 被 触发 了 ， 对 象 C 取 2 值 的 确信 度 如 何 计算 ? 按照 常识 ， 如 果 有 来 自 
不 同 来 源 〈 规 则 1 和 规则 2) 的 两 个 论据 (Ais X LB is Y) ， 都 支持 同一 个 假设 (Cis Z), ,假设 
的 可 信 度 应 该 提高 ， 应 该 比 只 有 一 个 论据 时 更 强 。 

我 们 使 用 下 面 的 公式 来 计算 结合 后 的 确信 因子 (Durkin, 1994); 
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Ath-A) Fe, >0, of, >0 
KA ch) = A E df, «0 RH of, <0 (3.35) 


di *d,x(leci) Af «0 RE of, <0 





其 中 : 
cf 是 规则 1 对 假设 豆 的 确信 度 ; 
护 是 规则 2 XB H BWA BE 
| ef, | 和 1 ef, | 分 别 是 oj 和 的 的 绝对 值 。 
因此 ， 我 们 假设 
f(E) zg(E,) =1.0 
由 公式 (3.32) 可 得 
of, (H,E,) =of(E,) x df, 21.0x0.8 20.8 
cf, (H,E,) 2 f( Ey) x d, 21.0x0.6 20.6 
由 公式 (3.35) 可 得 
A iste) =f, (HB) f (HE) x [1 f (H,E,)] 
20.840.6x(1-0.8) 20.92 
这 个 例子 表明 假设 的 可 信和 度 增加 ， 也 验证 了 我 们 的 预期 。 
接 下 来 考虑 规则 的 确信 因子 是 负 值 的 情况 。 假 设 
e CE,) zl, cf E,) = -1.0 
那么 
of, (H,E,) =1.0x0.8 =0.8 
of, (H,E,) = -1.0x0.6- -0.6 
由 公式 (3.35) 可 得 
c CH,E,) * e, CH,E, 0.8-0.6 
dese) =] LE E GLEJI] "1-min[0. 8,0.6) 
该 例 说 明了 当 一 条 规则 支持 假设 而 另 一 条 规则 反对 假设 的 情况 下 ， 如 何 计算 确信 因子 ， 即 
净 可 信和 度 。 
如 果 规 则 的 确信 因子 都 是 负 值 呢 ? 假设 
f(E) =of(E,) =-1.0 





=0.5 


那么 
of, (H,E,) = -1.0x0.8- -0.8 
of, (H,E,) = -1.0x0.6- -0.6 
由 公式 (3.35) 可 得 : 
fof ef) = ef (HE) +o, OE) x 3f OE] 
= -0.8-0.6x(1-0.8) = -0.92 
这 个 例子 中 假设 的 不 可 信和 度 有 了 增加 。 
确信 因子 理论 是 贝 叶 斯 推理 的 实用 的 替代 方法 。 合 并 确信 因子 的 启发 式 方法 不 同 于 合并 概 
率 的 方法 。 确 定理 论 不 是 “纯粹 数学 ”的 方法 ， 而 是 模拟 人 类 专家 思考 过 程 的 方法 。 
下 面 通过 3. 4 节 介 绍 的 专家 系统 FORECAST， 来 说 明基 于 论据 的 推理 以 及 确信 因子 在 一 组 规 
则 中 传送 的 方法 。 
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3.7 FORECAST: 确信 因子 的 应 用 


这 个 专家 系统 的 任务 是 预测 明天 是 否 下 雨 ， 即 为 多 值 对 象 tomorrow 建立 确信 因子 。 为 了 简化 
任务 ， 我 们 仍 使 用 3.4 节 的 相关 规则 。 

知识 

i* FORECAST: AN APPLICATION OF CERTAINTY FACTORS 

control cf 

control ‘threshold 0.01’ 


Rule: 1 
if today is rain | 
then tomorrow is rain {cf 0.5] 


Rule: 2 ' 


if today is dry 

then tomorrow is dry {cf 0.5} 
Rule: 3 

if today is rain 

and rainfall is low 

then tomorrow is dry {cf 0.6} 


Rule: 4 

if today is rain 

and rainfall is low 

and temperature is cold 
then tomorrow is dry {cf 0.7} 


Rule: 5 

if today is dry 

and temperature is warm 
then tomorrow is rain {cf 0.65} 


Rule: 6 

if today is dry 

and temperature is warm 

and sky is overcast 

then tomorrow is rain [cf 0.55] 


seek tomorrow 

对 话 

为 了 应 用 基于 确信 因子 的 不 精确 推理 技术 ， 专 家 系统 让 用 户 既 输入 对 象 的 值 ， 又 输入 与 值 
关联 的 确信 和 度 。 例 如 ， 如 果 使 用 Leonardo 规定 的 0 ~1 的 范围 ， 可 能 会 出 现下 面 的 对 话 : 

What is the weather today? 


Rule: 1 
if today is rain 
then tomorrow is rain (cf 0.5} 


cf (tomorrow is rain, today is rain) = cf (today is rain) x cf = 1.0 x 0.5 = 0.5 


tomorrow is rain — (0.50) 


What is the rainfall today? 
= low 


To what degree do you believe the rainfall is low? Enter a numeric certainty 
between 0 and 1.0 inclusive. 
> 0.8 


Rule: 3 

if today is rain 

and rainfall is low 

then tomorrow is dry (cf 0.6} 
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cf (tomorrow is dry, today is rain rainfall is low) 
= min [cf (today is rain), cf (rainfall is low)] x cf = min |1,0.8] x 0.6 = 0.48 


tomorrow is rain {0.50} 
dry — (0.48) 


What is the temperature today? 
=> cold 


To what degree do you believe the temperature is cold? Enter a numeric certainty 
between 0 and 1.0 inclusive. 
=> 0.9 


Rule: 4 

if today is rain 

and rainfall is low 

and temperature is cold 
then tomorrow is dry {cf 0.7} 


cf (tomorrow is dry, today is rain N rainfall is low n temperature is cold) 
= min [cf (today is rain), cf (rainfall is low), cf (temperature is cold)] x cf 
= min 1.0.8, 0,9] x 0.7 = 0.56 


tomorrow is dry {0.56} 
tain {0.50} 


Cf (fiue s Cfrule:4) = Cfrute:s  CfRulea X (1 ~ Cfnuie3) 
0.48 + 0.56 x (1 — 0.48) = 0.77 











tomorrow is dry {0.77} 
rain = [0.50] 


3.8 贝 叶 斯 推理 和 确信 因子 的 对 比 

在 上 一 节 ， 我 们 介绍 了 专家 系统 中 的 两 个 流行 的 不 确定 性 管理 技术 。 现 在 我 们 比较 这 两 个 
技术 ， 分 析 它 们 都 适合 哪些 问题 。 

概率 理论 是 处 理 不 精确 知识 和 随机 数据 的 最 古老 、 最 好 的 技术 ,很 适用 于 预测 和 计划 相关 
的 问题 ， 因 为 可 以 获得 统计 数据 ， 并 编写 准确 的 概率 语句 。 

专家 系统 PROSPECTOR 是 一 个 帮助 勘探 地 质 学 家 搜寻 矿床 的 专家 系统 ， 它 使 用 了 贝 叶 斯 技 
术 。 这 个 专家 系统 开发 得 很 成 功 ， 如 通过 使 用 地 质 、 地 球 物理 、 地 球 化 学 数据 ，PROSPECTOR 
预测 出 了 华盛顿 州 Tolman 山 附近 的 一 个 钥 矿 床 (Campbell et al. , 1982), PROSPECTOR 团队 能 
利用 已 知 矿床 的 有 效 数据 和 统计 信息 ， 也 定义 了 每 一 个 事件 的 概率 。PROSPECTOR 团队 也 假定 
了 论据 之 间 具 有 条 件 独立 性 ， 这 也 是 使 用 贝 叶 斯 规则 的 前 提 。 

但 是 ， 在 许多 应 用 领域 ， 并 不 总 能 得 到 可 用 的 统计 信息 ,或 总 能 假定 论据 间 满 足 条 件 独立 
性 。 所 以 ， 许 多 研究 者 发 现 贝 叶 斯 方法 对 他 们 的 工作 并 不 适合 。 例 如 ， 在 MYCIN 中 ， 由 于 医学 
领域 通常 不 提供 需要 的 数据 ，Shortliffe 和 Buchanan 就 不 能 使 用 传统 的 概率 方法 (Shortliffe and 
Buchanan, 1975), 

尽管 确信 因子 方法 缺乏 概率 论 那样 的 数学 正确 性 ， 在 一 些 领域 如 在 诊断 领域 、 尤 其 是 医 
药 领 域 ， 它 还 是 能 够 胜 过 贝 叶 斯 推理 方法 的 。 在 像 MYCIN 这 样 的 诊断 专家 系统 中 ， 专 家 根据 
自己 的 知识 或 直觉 判断 来 确定 规则 和 确信 因子 。 在 概率 未 知 、 或 难以 获取 或 代价 昂贵 的 场合 ， 
可 以 使 用 确信 和 因子。 论据 推理 机 制 可 以 增 量 管理 获得 的 论据 、 合 取 式 假设 、 析 取 式 假设 ， 以 
及 可 信和 度 不 同 的 论据 。 另 外 ， 确 信 因 子 方法 对 基于 规则 的 专家 系统 中 的 控制 流 能 提供 更 好 的 
解释 。 

贝 叶 斯 方法 和 确信 因子 虽 彼此 不 同 ， 它 们 却 有 着 共同 问题 : 找到 能 够 量化 个 人 的 、 主 观 的 、 
定性 的 信息 的 专家 。 人 类 很 容易 有 偏差 ， 所 以 选择 哪 一 个 不 确定 性 管理 技术 很 大 程度 上 依赖 于 
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现 有 的 领域 专家 。 

当 存 在 可 靠 的 统计 数据 ， 知 识 工程 师 能 够 主持 大 局 ， 也 有 能 参与 严密 的 决策 分 析 对 话 的 专 
家 时 ， 贝 叶 斯 方法 应 该 是 最 适合 的 。 这 3 个 条 件 缺 少 任何 一 个 ， 使 用 贝 叶 斯 方法 就 显得 太 武断 ， 
也 会 由 于 偏差 而 不 能 得 到 有 价值 的 结果 。 还 需 提 及 的 是 ， 贝 叶 斯 信念 传播 的 复杂 Rs 度 是 指数 级 的 ， 
不 适用 于 大 型 知识 库 。 

虽然 缺乏 形式 基础 ， 但 是 确信 因子 技术 为 专家 系统 处 理 不 确定 性 提供 了 一 个 简单 的 方法 ， 
在 许多 应 用 中 的 结果 也 都 是 可 以 接受 的 。 


3.9 小 结 
本 章 介绍 了 用 于 专家 系统 的 两 个 不 确定 性 管理 技术 : 贝 叶 斯 推理 和 确信 因子 。 分 析 了 不 确定 知 
识 的 主要 来 源 ， 简 要 回顾 了 概率 理论 。 我 们 讨论 了 可 累积 论据 的 中 叶 斯 方法 ， 并 基于 贝 叶 斯 方法 开 
发 了 一 个 简单 的 专家 系统 。 之 后 介绍 了 确信 因子 理论 〈 贝 叶 斯 推理 的 常用 替代 方法 ) ， 并 基于 论据 
推理 构建 了 一 个 专家 系统 。 最 后 ,将 贝 叶 斯 推理 和 确信 因子 进行 了 对 比 ， 分 析 了 它们 的 适用 范围 。 
本 章 的 主要 内 容 如 下 : 
。 不 确定 性 是 由 于 缺乏 帮助 我 们 得 出 完美 可 靠 结论 的 精确 知识 。 专 家 系统 中 的 不 确定 知识 
的 主要 来 源 是 : 弱 暗 示 、 不 精确 的 语言 、 数 据 缺 失 、 综 合 不 同 专家 的 观点 。 
。 概率 理论 为 专家 系统 中 的 不 确定 性 管理 提供 了 一 个 精确 的 、 数 学 校正 的 方法 。 在 给 定论 
据 的 前 提 下 ， 我 们 可 使 用 贝 叶 斯 规则 计算 出 一 个 假设 的 概率 。 
。 用 于 矿床 勘探 的 专家 系统 PROSPECTOR 是 第 一 个 成 功 应 用 贝 叶 斯 规则 传送 不 确定 性 的 
系统 。 
。 要 使 用 贝 叶 斯 方法 ， 专 家 需要 提供 假设 已 的 先 验 概率 、 充 分 性 似 然 值 5 (衡量 在 给 定论 
据 E 时 假设 的 可 信和 度 ) 、 必 要 性 似 然 值 (衡量 在 给 定论 据 EE 时 假设 的 不 可 信和 度 )。 中 叶 斯 
方法 使 用 下 面 的 规则 形式 : 
IF E is true {LS, LN} 
THEN His true [prior probability) 
。 要 想 使 用 贝 叶 斯 方法 ， 论 据 间 必 须 满足 条 件 独立 ， 还 应 该 有 可 靠 的 统计 数据 ， 并 为 每 个 
假设 定义 先 验 概率 。 在 实际 问题 上 ， 往 往 不 能 满足 这 些 要 求 ， 所 以 只 有 少数 系统 可 以 使 
用 贝 叶 斯 推理 。 
e 确信 因子 理论 是 贝 叶 斯 方法 的 常用 替代 方法 。 这 一 一 理论 的 基本 尺 理 首次 出 现在 诊断 医疗 
专家 系统 MYCIN 中 。 
。 确信 因子 理论 为 专家 系统 中 的 不 确定 管理 提供 了 _ 个 判断 方法 。 使 用 这 _- 方 法 时 ， 需 要 
专家 提供 确信 因子 of 的 值 ， 用 来 表示 给 定论 据 五 时 假设 鼠 的 可 信 度 水 平 。 确 信 因 子 方法 
使 用 如 下 规则 : 


IF Eis true 
THEN His true {cf} 


。 当 概率 未 知 或 不 易 获 得 时 ， 会 使 用 确信 因子 。 确 定理 论 可 以 增 量 获得 的 管理 论据 、 合 取 
式 假设 、 析 取 式 假设 ， 以 及 具有 不 同 可 信和 度 的 论据 。 
。 贝 叶 斯 推理 和 确定 理论 面临 的 共同 问题 是 需要 一 个 能 够 量化 主观 信息 和 定性 信息 的 专家 。 


复习 题 


1. 什么 是 不 确定 性 ? 什么 情况 下 知识 可 以 不 精确 ， 数 据 可 以 不 完整 、 不 一 致 ? 举例 说 明 不 精确 
的 知识 。 


[85 |] 
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2. 什么 是 概率 ? 用 数学 方式 描述 在 事件 B 发 生 时 事件 4 发 生 的 条 件 概率 。 什 么 是 贝 叶 斯 
规则 ? 


3. 什么 是 贝 叶 斯 推理 ? 专家 系统 怎样 对 可 能 的 真 假设 进行 排序 ? 举例 说 明 。 


4. 为 什么 PROSPECTOR 团队 能 够 将 贝 叶 斯 方法 作为 不 确定 性 管理 技术 ? 使 用 贝 叶 斯 推理 必须 要 

具备 哪些 条 件 ? 

什么 是 充分 性 似 然 值 和 必要 性 似 然 值 ? 专家 如 何 确定 LS 和 LN 的 值 ? 

什么 是 先 验 概 率 ? 举例 说 明基 于 贝 叶 斯 推理 的 专家 系统 的 规则 表达 方式 。 

基于 规则 的 专家 系统 如 何 使 用 贝 叶 斯 方法 传送 不 确定 性 ? 

条 件 概率 为 什么 也 许 会 与 专家 提供 的 先 验 概率 不 一 致 ? 举例 说 明 。 

为 什么 确信 因子 理论 可 被 看 做 贝 叶 斯 推理 的 实用 替代 方法 ? 什么 是 可 信和 度 和 不 可 信和 度 的 度量 ? 

定义 一 个 确信 因子 。 

10. 专家 系统 如 何 确定 “与 "、“ 或 ”规则 的 净 确定 性 ? 举例 说 明 。 

11. 专家 系统 如 何 合并 影响 同一 个 假设 的 多 个 规则 的 确信 因子 ? 举例 说 明 。 

12. 请 比较 贝 叶 斯 推理 和 确信 因子 。 它 们 分 别 适合 什么 样 的 应 用 场景 ? 为 什么 ? 这 两 个 方法 的 共 
同 问题 是 什么 ? 
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Artificial Intelligence, 3E 


模糊 专家 系统 


本 章 描述 模糊 集 理 论 ， 以 及 如 何 建立 模糊 专家 系统 ， 并 通过 实例 来 说 明 模 糊 集 理论 。 


4.1 概述 

专家 解决 问题 时 通常 会 用 到 常识 ， 但 他 们 也 会 用 到 含糊 和 模棱两可 的 语言 。 例 如 ， 专 家 可 能 
会 说 :“ 电 源 变 压 器 已 经 微 超载 ， 但 还 能 再 坚持 一 会 儿 ”。 其 他 的 专家 能 够 没有 任何 困难 地 理解 
和 解释 这 名 话 ， 因 为 他 们 都 听 到 过 以 这 种 方式 描述 的 问题 。 但 是 ， 知 识 工 程 师 要 让 计算 机 达到 相 
同 的 理解 水 乎 就 十 分 困难 。 那 么 怎样 在 计算 机 中 表达 专家 使 用 的 含糊 和 模棱两可 的 语言 描述 知 
TARE? 能 做 得 到 吗 ? 

通过 研究 模糊 集 理 论 (或 模糊 逻辑 ) ， 本 章 将 尝试 回答 这 些 问题 。 本 章 首 先 回顾 模 糊 逻 辑 的 
哲学 概念 ， 研 究 它 的 机 制 并 考虑 如 何在 模糊 专家 系统 中 使 用 模糊 逻辑 。 

本 章 先 从 浅显 的 ， 但 是 最 基础 和 本 质 的 命题 开始 : “模糊 逻辑 并 不 是 说 逻辑 本 身 是 模糊 的 ， 而 
是 指 用 来 描述 模糊 的 逻辑 。 ”模糊 逻辑 是 模糊 集 的 理论 ， 模 糊 集 能 够 校准 含糊 的 知识 。 模 糊 逻 辑 的 
基本 思想 是 任何 事情 都 多 许 有 一 定 的 和 程度。 温度、 高度、 速度、 距离 和 美丽 一 一 所 有 这 些 都 可 以 在 
某 个 范围 内 浮动 。 发 动机 运转 起 来 真 的 很 热 。Tom 是 个 很 高 的 家 伙 。 电 车 跑 得 不 快 。 高 性 能 发 动机 
需要 快速 的 动力 装置 和 精确 控制 。 堆 巴特 和 墨尔本 之 间 的 路 程 很 得。 悉尼 是 个 美丽 的 城市 。 这 种 可 
变化 的 尺度 很 难 把 某 类 的 成 员 和 非 成 员 区 别 开 。 比 如 ， 一 个 小 山 丘 变 大 到 什么 时 候 可 以 被 称 为 山峰 ? 

布尔 或 传统 的 逻辑 使 用 明显 的 区 别 ， 它 迫使 我 们 在 成 员 和 非 成 员 之 间 划 出 明显 的 界限 。 例 
如 ， 可 以 说 :“ 电 动 交 通 工具 的 最 大 行程 很 短 ”， 这 个 判断 是 基于 行程 在 300km 以 下 就 是 短 ， 超 
过 300km 才 是 长 这 个 规定 做 出 的 。 按 照 这 个 标准 ， 只 有 行程 超过 301km (或 者 300km 零 500m， 
甚至 是 300km F lm) 的 电动 交通 工具 才 可 被 认为 是 长 距离 的 。 类 似 地 ， 如 果 我 们 以 180em 为 界 
限 ， 那 么 就 说 Tom 很 高 ， 因 为 其 身高 为 181cem，David 很 矮 ， 因 为 其 身高 为 179cm， 但 是 David A 
的 很 矮 吗 ?这 种 分 界 可 以 这 么 武断 吗 ? 模糊 逻辑 可 以 避免 发 生 这 样 武断 的 判断 。 

模糊 逻辑 能 反映 人 类 是 怎么 样 思考 的 ， 它 尝试 模拟 人 类 的 预感 、 决 策 制定 和 常识 。 结 果 ， 它 
促进 了 新 的 、 更 加 人 性 化 的 和 智能 的 系统 的 产生 。 

模糊 或 多 值 逻辑 是 波兰 的 逻辑 学 家 和 哲学 家 Jan Lukasiewicz 在 20 世纪 30 年 代 引 入 的 
(Lukasiewicz，1930)。 他 研究 “高 "、“ 老 了 ”和 “ 热 ”这 样 的 模糊 语言 的 数学 表示 。 当 时 经 典 的 逻辑 
操作 仅 使 用 两 个 值 1 (HA) 和 0 (WE), Lukasiewicz 引入 了 将 逻辑 真 值 扩展 到 0 和 1 之 间 所 有 的 实 
数 。 使 用 该 范围 内 的 一 个 数值 来 表示 某 个 命题 为 真 或 为 假 的 可 能 性 。 例 如 ， 身 高 为 181cm 的 男人 确实 
是 高 的 可 能 性 取 值 为 0.86， 这 个 人 应 该 是 很 高 。 不 精确 推理 技术 产生 的 工作 通常 称 为 可 能 性 理论 。 

1973 年 ， 哲 学 家 Max Black 发 表 了 论文 “Vagueness: an exercise in logical analysis" (Black, 
1937) 。 在 论文 中 ， 他 讨论 了 指示 程度 的 连续 区 。 他 说 ， 设 想 将 无 数 的 椅子 排 成 一 行 ， 在 一 端 是 齐 
本 德尔 式 的 椅子 ， 挨 着 它 的 是 类 似 齐 本 德尔 式 的 ， 但 看 上 去 和 第 一 把 椅子 几乎 没有 差别 ， 随 后 的 椅 
子 越 来 越 不 像 椅子 ， 最 后 是 一 根 圆 木 。 椅 子 什 么 时 候 变 成 了 圆 木 ? 桂子 这 个 概念 让 我 们 无 法 在 椅子 
和 非 椅子 之 间 画 出 明显 的 界限 。Max Black 也 定义 如 果 连 续 区 是 离散 的 ， 那么 可 以 为 每 个 元 素 分 配 
一 个 数值 。 这 个 数值 代表 一 种 程度 。 问 题 是 它 是 什么 的 程度 ? Black 用 数值 来 显示 “认为 一 排 “ 椅 
子 ” 中 的 某 一 个 元 素 能 够 称 为 椅子 的 人 的 百分比 ” 。 换 句 话说 ， 即 接受 模糊 的 概率 。 
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但 是 ，Black 最 重要 的 贡献 是 在 该 论文 的 附录 中 。 在 附录 中 他 定义 了 第 一 个 简单 的 模糊 集 ， 
并 概述 了 模糊 集 操作 的 基本 思想 。 

1965 年 ， 加 州 大 学 伯克利 分 校 电 子 工程 系 主任 Lotfi Zadeh 教授 发 表 了 著名 的 论文 “Fuzzy 
sets”, FXE, Zadeh 是 重新 发 现 了 模糊 论 ， 确 定 并 研究 该 理论 ， 提 倡 它 并 为 它 而 战 。 

Zadeh 将 可 能 性 理论 扩展 到 数学 逻辑 的 形式 系统 中 ， 更 重要 的 是 ， 他 引入 了 新 概念 以 应 用 自然 
语言 的 术语 。 这 种 表达 和 操作 模糊 术 话 的 新 多 辑 称 为 模糊 逻辑 ，Zadeh 也 成 为 “模糊 逻辑 之 父 ”。 

为 什么 模糊 

就 像 Zadeh 所 说 ， 术 语 是 具体 、 直 接 和 可 叙述 的 ， 我们 都 知道 这 是 什么 意思 。 但 是 在 西方 ， 
许多 人 都 抵制 “模糊 ”这 个 词 ， 因 为 它 经 常用 在 贬义 的 场合 。 

为 什么 要 有 逻辑 

模糊 依赖 模糊 集 理 论 ， 模 糊 逻 辑 只 是 该 理论 的 一 小 部 分 。 但 是 Zadeh 在 更 广泛 的 意义 上 使 用 
“模糊 逻辑 ”这 个 术语 (Zadeh, 1965); 

模糊 逻辑 的 定义 是 : 基于 隶属 度 而 不 是 经 典 二 值 逻 辑 中 清晰 隶属 关系 的 知识 表达 的 一 组 数 
学 原理 。 

和 二 值 的 布尔 逻辑 不 同 ， 模 糊 逻辑 是 多 值 的 。 它 处 理 隶 属 的 程度 和 可 信 的 程度 。 模 糊 逻 辑 使 
HATO (SAAR) 和 1 (完全 为 真 ) 之 间 的 逻辑 值 的 连续 区 间 。 与 非 黑 即 白 不 同 ， 它 使 用 颜 
色 的 色谱 ， 可 以 接受 同时 部 分 为 真 和 部 分 为 假 的 事物 。 如 图 4. 1 所 示 ， 模 糊 逻 辑 为 布尔 逻辑 增加 
了 一 定 范围 的 逻辑 值 。 经 典 的 二 值 逻辑 可 以 看 做 是 多 值 模糊 逻辑 的 特例 。 

0 0 01 I ] 0 0 02 04 06 0.8 | 1 
a) 布尔 逻辑 b) 多 值 逻 辑 


图 4.1 布尔 逻辑 和 模糊 逻辑 的 逻辑 值 范围 






4.2 模糊 集 

集 的 概念 是 数学 中 的 基本 概念 。 但 是 ,我 们 的 语言 是 集 的 最 大 表达 。 例 如 ， 汽 车 指 的 是 汽车 
的 集合 ， 当 我 们 说 到 一 辆 车 的 时 候 ， 实 际 上 是 指 所 有 汽车 的 某 一 辆 。 

BX EAR GAM) 的 集 ，x 是 一 个 元 素 ， 那么 , 元素 * 要 么 属于 X (xeX), BARK 
FX (x ggX)。 也 就 是 说 ,经典 的 集 理 论 划 分 了 严格 的 界限 ， 集 中 的 每 个 成 员 赋 值 为 1， 不 在 集 
中 的 每 个 成 员 赋 值 为 0。 这 就 是 二 分 法 原理 。 下 面 我 们 就 来 探讨 这 个 原理 。 

考虑 下 面 经 典 的 逻辑 悖 论 。 

(1) 毕 达 哥 拉 斯 的 学 校 〈 公 元 前 400 年 ) 

问题 ， 当 特 里 克 岛 的 哲学 家 断言 “所 有 的 特 里 克 岛 人 都 说 谎 ” 时 ， 这 句 话 是 真 的 吗 ? 

布尔 逻辑 ， 这 个 断言 自 相 矛盾 。 

模糊 逻辑 : 哲学 家 可 能 有 、 也 可 能 没有 说 真 话 。 

(2) 拉 塞 尔 悖 论 

村 子 里 的 理发 师 只 给 那些 不 能 给 自己 理发 的 人 理发 。 

问题 : 谁 给 理发 师 理发 ? 

布尔 逻辑 : 这 个 断言 自 相 矛盾 。 

RAH: 理发 师 可 以 给 、 也 可 以 不 给 自己 理发 。 

清晰 集 理 论 由 仅 使 用 两 个 值 ( 真 或 假 ) 中 的 一 个 值 的 逻辑 支配 。 这 个 逻辑 不 能 表达 含糊 的 
概念 ， 因 此 在 悖 论 中 无 法 给 出 答案 。 模 糊 集 理论 的 基本 观点 是 属于 模糊 集 的 元 素 具 有 确定 的 隶 
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属 度 。 因 此 ， 命 题 既 不 是 真 也 不 是 假 ， 而 是 在 任何 程度 上 部 分 为 真 〔 或 部 分 为 假 ) ， 其 中 程度 可 
以 取 [0, 1] 区 间 的 实数 。 

模糊 集 理论 的 经 典 例子 是 高 个 子 的 男人 。 模 糊 集 “ 高 个 子 男人 ”中 的 元 素 是 全 体 男性 ， 但 他 们 
的 隶属 度 取决 于 他 们 的 身高 ， 如 表 4. 1 所 示 。 例 如 ， 给 身高 为 205cm 的 Mark 赋予 程度 1， 给 身高 为 
152cm 高 的 Peter 赋予 程度 0， 所 有 身高 在 152 ~205cm 之 间 的 人 取 0 ~ 1 之 间 的 值 。 他 们 的 高 是 带 有 
程度 的 。 显 然 ， 不 同 的 人 对 某 个 人 是 否 可 称 为 高 有 不 同 的 看 法 。 候 选 人 隶属 度 见 表 4. 1。 


表 4. 1 “高 个 子 男人 ”的 隶属 度 


FME 
姓名 身高 (em) 清晰 的 rm 
Chris 1 1.00 





Mark 1.00 
John 0. 98 
0. 82 
0. 78 








Tom 

David 
Mike 0.24 
Bob 0. 15 


Steven 158 | oo 0.06 
Bil 155 0.01 
可 以 看 到 ,清晰 集 问 了 一 个 问题 ，“ 那 个 男人 高 吗 ?”， 并且 在 180cm 处 画 了 一 条 线 ， 比 
180em 高 的 人 就 是 高 个 子 男人 ， 比 它 低 的 就 是 矮 个 子 男人 。 相 比 之 下 ， 模 糊 集 的 问题 是 ,， “这 个 
男人 有 多 高 ?”， 回 答 是 模糊 集中 的 部 分 成 员 资 格 , 例如，Tom 高 的 程度 是 0. 82。 
模糊 集 提供 跨越 边界 时 平稳 过 渡 的 能 力 ， 如 图 4.2 所 示 。 
1.0 1.0 
0.8 0.8 
i 0.6 W 06 
R 04 E 04 
0.2 02 


0.0 0.0 
150 160 170 180 190 200 210 150 160 170 180 190 200 210 


高 度 (cm) 高 度 (cm) 
a) 清晰 集 b) 模糊 集 


图 4.2 “高 个 子 男人 ”的 清晰 集 和 模糊 集 


考虑 一 下 其 他 的 集合 例如 “很 禾 的 男人 ”、“ 矮 男人 ”、“ 中 等 身高 的 男人 ”和 “很 高 的 男人 ”。 

图 4.2 的 横 轴 表示 论 域 一 一 变量 所 有 可 能 取 值 的 范围 ， 在 本 例 中 变量 是 身高 。 按 照 这 种 表示 方法 ， 
男性 的 身高 应 该 包含 全 体 男性 的 身高 。 但 是 ， 通 常 还 有 考虑 的 余地 ， 因 为 论 域 在 不 同 的 上 下 文中 有 不 
同 的 含义 。 例 如 ,“ 高 个 子 男人 ”可 能 是 全 体 人 类 或 哺乳 动物 ， 甚 至 是 全 体 动物 身高 论 域 中 的 一 部 分 。 

图 4. 2 的 纵 轴 表 示 模 糊 集中 的 隶属 度 。 在 本 例 中 , “高 个 子 男人 ”的 模糊 集 将 身高 值 映射 到 
相应 的 隶属 值 。 在 图 4. 2 中 ，David 的 身高 为 179em， 仅 比 Tom 低 2em， 不 再 突然 地 成 为 不 高 的 
人 “或 矮 的 人 ， 在 清晰 集中 他 是 矮 的 人 )。 在 这 里 ，David 和 其 他 人 按照 身高 的 不 断 降 低 ， 逐 渐 
地 从 “高 个 子 男人 ”的 集合 中 移出 。 

什么 是 模糊 集 ] 

模糊 集 可 以 简单 地 定义 为 具有 模糊 边界 的 集合 。 
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假设 XX 为 论 域 ， 其 中 的 元 素 可 记 为 x。 在 经 典 的 集合 论 中 ,，X 的 清晰 集 4 定义 为 函数 f(x%)， 
称 为 4 的 特征 函数 : 
f,(x) :X 10,11 (4.1) 
其 中 : 
1, #xeA 
TO Zi xgeA 


BRAK X Be TUUUN SIBI TUX V MFCM X 的 任何 元 素 x， 如 果 % 是 集合 4 中 的 元 素 ， 
特征 函数 /,(x) 等 于 1， 如 果 x 不 是 4 中 的 元 素 ， 则 特征 孙 数 f(x) 等 于 0。 

在 模糊 论 中 ， 论 域 X 的 模糊 集 4 定义 为 函数 ws(x) ， 称 为 集合 A 的 隶属 函数 : 

pa (x) :X [0,1] (4.2) 

其 中 : 

T x 完全 在 集合 4 中 ， 则 us(x) =1。 

WR x 不 在 集合 4 中 , MW ui (x) =0。 

如 果 % 部 分 在 集合 4 中 , 则 0 < (x) <1。 

该 集合 允许 使 用 可 能 选择 的 连续 取 值 。 对 于 论 域 区 中 的 任何 元 素 x， 隶属 函数 (x) 等 于 x 
是 集合 4 中 元 素 的 程度 ， 该 程度 的 取 值 为 0 ~1， 表 示 隶 属 度 ， 也 称 作 集合 4 中 元 素 x 的 隶属 值 。 

在 计算 机 中 如 何 表 达 模 糊 集 

首先 必须 定义 隶属 函数 。 这 时 可 以 应 用 从 知识 获取 中 学 到 的 一 些 方法 。 例 如 ， 形 成 模糊 集 的 
最 实用 的 方法 是 依赖 某 一 位 专家 的 知识 ， 询 问 专家 这 些 元 素 是 否 属于 给 定 的 集合 。 另 一 个 有 用 
的 方法 是 从 多 位 专家 那里 获取 知识 。 最 近 还 出 现 了 一 种 形成 模糊 集 的 新 技术 ， 其 基于 人 工 神经 
网 络 ， 可 以 学 习 可 用 的 系统 运作 数据 并 自动 生成 模糊 集 。 

现在 回 到 “高 个 子 男人 ”的 例子 。 获 取 了 男性 身高 的 知识 后 ， 以 产生 高 个 子 男 人 的 模糊 集 。 
用 类 似 的 方式 ,我 们 也 可 以 得 到 矮 个 子 男 人 和 中 等 身高 男人 的 模糊 集 。 这 些 模糊 集合 清晰 集 如 
图 4.3 所 示 。 我 们 讨论 的 〈 男 性 身高 ) 论 域 包 含 3 个 集 : short men. (ATRA), average men 

1.0 









50 160 170 18 
高 度 (cm) 
a) 清晰 集 








高 度 (cm) 
b) 模糊 集 


图 4.3 矮 个 子 、 中 等 身高 和 高 个 子 男人 的 清晰 集 和 模糊 集 
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(中 等 身高 男人 ) M tal men (高 个 子 男 人 )。 如 你 所 见 ， 在 模糊 逻辑 中 ， 身 高 为 184cm 的 男人 是 
average men EAU, 隶属 度 为 0. 1， 同 时 他 也 是 tall men 集 的 成 员 ， 隶 属 度 为 0.4。 也 就 是 说 ， 
身高 为 184cm 的 男人 可 以 部 分 地 属于 多 个 集 。 

假设 X 的 论 域 ( 也 称 作 参 考 超 集 ) 是 包含 5 个 元 素 的 清晰 集 X= | x, , x, ix xx |。 设 4 为 
区 的 清晰 子 集 ， 仅 包含 两 个 元 素 ， 即 4 = im , x， | 。 子 集 4 可 以 表示 为 4 = | (x,,0), (%, ,1)， 
(3,1), 6,0), Cas, 0)}, BIDS | Cx, ,p(x;) 2] 对 的 集合 ， 其 中 jo(%;) 为 子 集 4 中 元 素 x 
的 隶属 函数 。 

问题 是 ws(x ) 只 能 取 两 个 值 , 非 0 即 1， 还 是 取 0 和 1 之 间 的 任何 数 都 可 以 。 这 是 Lotfi Za- 
deh 在 1965 年 提出 的 模糊 集中 最 基本 的 问题 (Zadeh，1965 ) 。 

如 果 蕊 是 参考 超 集 ，4 是 蕊 的 子 集 ， 那 么 当 且 仅 当 

Az {x,p,(x%) | xEX,p,(x):X—[0,1] (4.3) 

ABA X HRMTE. 

RAP, FAX 10, 11 REX [0, 1], RATE A 就 变 成 了 清晰 子 集 4。 

模糊 子 集 和 清晰 子 集 如 图 4.4 所 示 。 





清晰 子 集 4 €: 模糊 性 
图 4.4 XX 的 清晰 子 集 和 模糊 子 集 的 表示 
有 限 参考 超 集 X 的 模糊 子 集 4 可 表示 为 


4= ix, una 09) | M qa xs) | D, ns a Cn, ) |} (4.4) 
但 是 ，4 表示 为 下 面 的 式 子 更 便捷 : 
4= fu, (275, | ua ) /x, } YU, TACAR , (4.5) 


其 中 ， 分 割 符 “/” 用 于 将 隶属 值 和 其 在 水 平 轴 上 的 坐标 关联 起 来 。 
要 在 计算 机 中 表示 连续 的 模糊 集 ， 需 要 将 其 表达 为 函数 ， 然 后 将 集合 中 的 元 素 映射 为 它们 
的 隶属 度 。 可 以 使 用 的 典型 函数 为 S 形 函 数 、 高 斯 函数 和 pi。 这 些 函 数 可 表示 模糊 集中 的 真实 数 
据 ， 但 是 这 样 增加 了 计算 的 时 间 。 因 此 ， 实 际 上 大 多 数 应 用 都 使 用 线性 拟 合 函 数 ， 其 类 似 于 
图 4. 3 使 用 的 函数 。 例 如 ， 图 4. 3 中 的 高 个 子 男人 的 模糊 集 可 以 表示 为 拟 合 向 量 : 
tall men = (0/180,0. 5/185 ,1/190) R ¥ 
tall men = (0/180 ,1/190) 
矮 个 子 和 中 等 身高 男人 的 模糊 集 可 以 用 相同 方式 表示 : 
short men = (1/160 ,0. 5/165 ,0/170) 或 者 
short men = (1/160,0/170) 
average men = (0/165 ,1/175 ,0/185) 


4.3 语言 变量 和 模糊 限制 语 
模糊 集 理论 源 自 语言 变量 的 概念 。 语 言 变量 是 模糊 变量 。 例 如 , “John 很 高 ”这 句 话 意味 着 
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语言 变量 John 取 值 为 语言 值 “ 高 "。 在 模糊 专家 系统 中 ， 语 言 变量 在 模糊 规则 中 使 用 。 例 如 : 


IF wind is strong 
THEN sailing is good 


IF project duration is long 
THEN completion risk is high 


IF speed is slow 
THEN stopping distance is short 


语言 变量 的 可 能 值 的 范围 表示 变量 的 论 域 。 例 如 ， 语 言 变 量 “ 速 度 ” 的 全 域 为 0 -220km/h, 
包含 的 模糊 子 集 有 very slow, slow, medium, fast 和 very fast。 每 个 模糊 子 集 还 表示 相应 语言 变量 的 
语言 值 。 

模糊 变量 带 有 模糊 集 限制 语 概 念 ， 称 作 模 糊 限制 语 。 模 糊 限 制 语 是 可 以 修改 模糊 集 形状 的 
术语 ， 包 含 very, somewhat, quite, more or less 和 lightly 这 样 的 副词 。 模 糊 限制 语 可 以 修饰 动词 、 
形容 词 、 副 词 甚至 于 整个 句子 。 模 糊 限 制 语 可 用 作 : 

。 通用 修饰 符 ， 例 如 very, quite 或 extremely, 

e 真 值 ， 例 如 quite true 或 mostly false。 

e 概率， 例如 likely 或 not very likely, 

e 量词 ， 例 如 most, several 或 few, 

e 可 能 性 ， 例 如 almost impossible 或 quite possible, 

模糊 限制 语 可 作为 它们 自己 的 操作 。 例 如 ，very 执行 集中 操作 并 创建 一 个 新 的 子 集 。 从 tall 
men 集合 中 派生 一 个 very tall men 子 集 ，extremely 的 作用 与 此 相同 ， 只 是 程度 更 高 。 

和 和 集中 相反 的 操作 是 扩张 ， 它 将 集 扩展 ，more or less 执行 扩张 。 例 如 ，more or less tall men 
这 个 集合 的 范围 比 tall men 集合 的 范围 更 大 。 

模糊 限制 语 利于 操作 ， 也 可 将 连续 空间 分 解 成 神 糊 区 间 。 例 如 ， 可 以 使 用 下 面 的 模糊 限制 语 
描述 温度 ; very cold, moderately cold, slightly cold, neutral, slightly hot, moderately hot 和 very 
hot。 很 明显 ， 这 些 模糊 集 是 相互 重 登 的。 模糊 限制 语言 有 助 于 反映 人 们 的 思维 ,因为 人 们 通常 
无 法 区 分 slightly hot 和 moderately hot。 

模糊 限制 语 的 应 用 如 图 4.5 所 示 。 先 前 在 图 4.3 中 显示 的 模糊 集 用 模糊 限制 语 very 做 了 数学 
上 的 改进 。 例 如 ， 一 个 身高 为 185cm 的 男性 ， 他 属于 tall men, 隶属 度 是 0.5, 但 他 同时 也 是 
very tall men 集 的 成 员 ， 隶属 度 是 0. 15， 这 就 更 加 合理 。 

下 面 考虑 在 实际 应 用 中 经 常用 到 的 模糊 限制 语 。 








A Y 4 —L j 
150 160 170 180 190 200 210 
高 度 (cm) 


图 4.5 带 有 模糊 限制 语 “very” 的 模糊 集 


e very (78), ， 即 上 文 提 到 的 集中 操作 ， 将 一 个 集合 缩小 ， 降 低 模糊 元 素 的 隶属 度 。 这 个 操 
作 可 用 数学 中 的 平方 来 表示 : 
ju) = [p(x)] (4.6) 
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因此 ， 如 果 Tom 在 tall men 集中 的 隶属 度 是 0.86， 那 么 他 在 very tall men 集中 的 隶属 度 
# 0. 7396, 
e extremely (非常 )， 和 “very” 的 作用 相同 ,但 是 程度 更 深 。 该 操作 可 以 表示 成 函数 的 
pa (x) 三 次 方 : 
we? (x) = [aa GO T (4.7) 
如 果 Tom Æ tall men 集中 的 隶属 度 是 0.86， 那 么 他 在 very tall men 集中 的 隶属 度 是 0.7396 ， 
在 extremely tall men 集中 的 隶属 度 是 0. 6361 。 
* very very ( 太 ) ， 是 集中 操作 的 扩展 。 它 可 以 表达 成 集中 操作 的 平方 。 
Ba (ax) = [ur G2) T = [aa G2 ' (4. 8) 
例如 ， 如 果 Tom 在 tall men 集中 的 隶属 度 是 0.86， 在 very tall men 集中 的 隶属 度 是 0. 7396, 
那么 他 在 very very tall men 集中 的 隶属 度 是 0. 5470, 
© more or less (或 多 或 少 ) ， 属 于 扩展 操作 ， 它 将 集 扩 展 并 增加 模糊 元 素 的 隶属 度 。 该 操作 


可 以 表达 为 : 
Ba "I (x) = uu (x) (4.9) 
因此 ， 如 果 Tom 在 tall men 集中 的 隶属 度 是 0. 86 ， 那 么 他 在 more or less tall men 集中 的 隶属 
度 是 0. 9274, 


e indeed (的 确 ) ， 是 增强 操作 ， 强 化 整个 句子 的 含义 。 通 过 增加 大 于 0.5 的 隶属 度 和 减少 
小 于 0.5 的 隶属 度 来 达到 这 一 目的 。Indeed 模糊 限制 语 可 以 通过 以 下 两 种 方式 给 出 : 
p(x) =2[j(x)]” 车 0<p(x) 0.5 (4. 10) 
或 者 : 
MA (x)21-2[1-u,(X)] 车 0.5<m(z) <1 (4.11) 
如 果 Tom 在 tall men 集中 的 隶属 度 是 0. 86 ， 那 么 他 在 indeed tall men 集中 的 隶属 度 是 0.9608 。 
相 比 之 下 ， 如 果 Mike 在 tall men 集中 的 隶属 度 是 0.24， 那 么 他 在 indeed tall men 集中 的 隶属 度 
是 0. 1152, 
模糊 限制 语 的 数学 和 图 例 的 表示 如 表 4.2 所 示 。 


表 4.2 模糊 逻辑 中 模糊 限制 语 的 表示 









数学 表示 





模糊 限制 语 








a little [n4 (x)] 3 











slightly [ua Go) ]** 








[pa Cx) b 











extremely 
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( 续 ) 











图 例 表示 





模糊 限制 语 


[pa (C ]* 











more or less 





somewhat 






2[u,.()]? 车 0<p x0. 5 
1 -2[1 -u4 (x) ]? #0.5<p,<1 







indeed 


4.4 ”模糊 集 的 操作 ME 


在 19 世纪 后 期 ， 由 Georg Cantor 开发 的 经 典 的 集合 论 [Nora 
描述 了 清晰 集 是 如 何 相互 作用 的 ， 这 些 相互 作用 称 为 操作 
(operation ) 。 © 
我 们 来 看 4 个 操作 : 补 、 包 含 、 交 和 并 。 这 些 操作 如 
图 4.6 所 示 。 下 面 比 较 经 典 集合 模糊 集中 的 操作 。 


补 包含 
补 
e WR: 谁 不 属于 集 ? 
© WK: 元 素 不 属于 集 的 程度 是 多 少 ? 
集 的 补 集 是 集 的 相反 操作 。 例 如 ， 有 一 个 all men 集 ， 
它 的 补 集 是 NOT tall men 集 。 当 我 们 从 论 域 中 移 除 tall men [< 


集 后 ， 就 得 到 补 集 。 如 果 4 是 模糊 集 ， 其 补 集 AW: 
palz) =1 7 p. (x) (4.12) 图 4.6 ZEE 
例如 ， 如 果 有 一 个 tall men 模糊 集 ， 那 么 可 以 很 容易 得 到 NOT tall men 模糊 集 : 
tall men = (0/180, 0.25/182.5, 0.5/185, 0.75/187.5, 1/190) 
NOT tall men = (1/180, 0.75/182.5, 0.5/185, 0.25/187.5, 0/190) 





包含 

e 清晰 集 : 哪 一 些 集 包含 在 其 他 集中 ? 

e 模糊 集 : 哪 一 些 集 属于 其 他 集 ? 

类 似 于 中 国 盒子 或 俄罗斯 套 娃 ， 一 个 集 可 以 包含 另 一 个 集 。 较 小 的 集 称 作 子 集 。 例 如 ，tall 
nen 集 包 含 所 有 高 个 子 男人 ， 因 此 very tall men E tall men 集 的 子 集 。 但 是 tall men 集 是 men 集 
的 子 集 。 在 清晰 集中 ， 子 集中 所 有 元 素 都 属于 更 大 的 集 ， 其 隶属 度 为 1。 但 是 在 模糊 集中 ， 每 个 
元 素 属 于 子 集 的 程度 比 属 于 更 大 的 集 的 程度 低 。 模 糊 子 集 的 元 素 在 子 集中 的 隶属 值 比 在 更 大 的 
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集中 的 隶属 什 小 。 
tall men = (0/180, 0.25/182.5, 0.50/185, 0.75/187.5, 1/190) 
very tall men = (0/180, 0.06/182.5, 0.25/185, 0.56/187. 5, 1/190) 

35 

e 清晰 集 : 哪些 元 素 同 时 属于 两 个 集 ? 

e 模糊 集 : 元 素 间 时 局 于 两 个 集 的 程度 是 多 少 ? 

在 经 典 的 集合 论 中 ， 两 个 集 的 “ 交 ” 操 作 包 含 两 个 集中 都 有 的 元 索 。 例如， 有 tall men 和 
fat men 两 个 集 ， 交 就 是 两 个 集 重 释 的 部 分 ， 即 Tom 属于 相交 的 部 分 ， 因 为 他 又 高 又 胖 。 但 是 在 
模糊 集中 ， 元 素 可 能 是 部 分 地 属于 两 个 集 ， 对 于 两 个 集 而 言 素 属 度 也 不 同 ， 因 此 ， 模糊“ 交 ” 
操作 中 的 元 素 在 每 个 集中 的 隶属 度 都 比较 低 。 

OMX LABOR BIR A 和 的 交 的 模糊 操作 为 : 

Bang (3) =min[pa(x) pa(%)] 2, (x) Npa(x), 其 中 xeX (4.13) 
例如 ，tall men 和 average men KWEN: 
tall men = (0/165, 0/175, 0.0/180, 0.25/182. 5 ，0. 5/185, 1/190) 
average men = (0/165, 1/175, 0. 5/180, 0. 25/182. 5, 0. 0/185, 0/190) 
根据 公式 (4.13), ， 这 两 个 集 的 交 是 
tall men (average men = (0/165, 0/175, 0/180, 0.25/182.5, 0/185, 0/190) 
或 
tall men N average men = (0/180, 0. 25/182. 5, 0/185) 

结果 如 图 4. 3 所 示 。 

并 

e 清晰 集 : 哪些 元 素 属于 两 个 集中 的 任意 一 个 ? 

e 模糊 集 : 元 素 在 多 大 程度 上 属于 两 个 集中 的 任意 一 个 ? 

两 个 清晰 集 的 并 由 属于 两 个 集 的 所 有 元 素 组 成 。 例 如 tall men 和 fat men 的 并 包含 所 有 高 或 
胖 的 人 。 例 如 ，Tom 在 并 集中 ， 因 为 他 高 ， 他 是 否 胖 无 关 紧 要 。 在 模糊 集中 ， 并 是 交 的 逆 操 作 ， 
也 就 是 说 ， 并 由 两 个 集中 隶属 值 较 大 的 元 素 组 成 。 

形成 了 的 论 域 上 模糊 集 4 和 B 并 的 模糊 操作 为 : 

Paus (x) 2 max[p, (x) us (x)] 2j (x) Uns (x), 其 中 xeX (4.14) 

再 次 考虑 tall men 和 average men 模糊 集 ; 

tall men = (0/165, 0/175, 0.0/180, 0.25/182. 5, ，0. 5/185, 1/190) 
average men = (0/165, 1/175, 0. 5/180, 0. 25/182. 5, 0.0/185, 0/190) 
根据 公式 (4.14) ， 这 两 个 集 的 并 是 : 
tall men U average men = (0/165, 1/175, 0.5/180, 0.25/182. 5, 0.5/185, 1/190) 
模糊 集 的 操作 如 图 4.7 所 示 。 

清晰 集 和 模糊 集 有 相同 的 性 质 ， 清 晰 集 可 看 做 模糊 集 的 特例 。 模 糊 集 经 常 使 用 以 下 性 质 : 

交换 性 

AUB=BUA 

ANB=BNA 

例如 : 


tall men OR short men — short men OR tall men : 
tall men AND short men — short men AND tall men 
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模糊 集 











图 4.7 模糊 集 的 操作 


结合 性 
AU(BUC) =(AUB)UC 
AN(BNC) =(ANB) NC 
例如 : 
tall men OR (short men OR average men) = (tall men OR short men) OR 
average men 
tall men AND (short men AND average men) = (tall men AND short men) AND 
average men 
分 配 性 
AU(BNC) =(AUB)N(AUC) 
AN( BUC) =(ANB) U(ANC) 
例如 : 


tall men OR (short men AND average men) = (tall men OR short men) AND 
(tall men OR average men) 

tall men AND (short men OR average men) — (tall men AND short men) OR 
(tall men AND average men) 


wStt 
AUA=A 
ANA=A 
例如 : 
tall men OR tall men — tall men 
tall men AND tall men — tall men 
恒 等 性 
4U 中 =A 


ANX=A 
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ANb=6 
AUX=X 
例如 : 


tall men OR undefined = tall men 
tall men AND unknown = tall men 
tall men AND undefined = undefined 
tall men OR unknown = unknown 


Jh, undefined 是 空 集 ， 即 集中 元 素 的 隶属 度 都 为 0，unknown 是 所 有 元 素 的 隶属 度 都 为 1 
的 集 。 

自 乘 性 

nm(n4) =A 

例如 : 

NOT (NOT tall men) = tall men 

传递 性 

#(AC B)n(BCC) , 则 4CC。 

每 个 集 包含 它 的 子 集 的 子 集 。 

例如 : 


IF (extremely tall men c very tall men) AND (very tall men C tall men) 
THEN (extremely tall men C tall men) 


f& - 摩根 定律 
3(AnB) =-AU-B 
*3(AUB) =7=AN7AB 
例如 : 


NOT (tall men AND short men) = NOT tall men OR NOT short men 
NOT (tall men OR short men) = NOT tall men AND NOT short men 


使 用 模糊 集 操作 .它们 的 性 质 和 模糊 限制 语 ,可 以 很 容易 地 从 现 有 模糊 集中 得 到 很 多 模糊 集 。 
例如 , 现 有 模糊 集 4(tall men) 和 模糊 集 B(short men) , 则 下 面 的 操作 可 以 生成 模糊 集 C( not very tall 
men and not very short men) ,甚至 模糊 集 D(not very very tall and not very very short men) ; 

Bc) 8 [1 -p(x) 1n [1 -us (*] 
Po(x) =[1 -p(x) ] n1 - us G2 *] 
通常 ,使 用 模糊 操作 和 模糊 限制 语 可 以 得 到 人 类 自然 语言 表达 的 模糊 集 。 


4.5 模糊 规则 
c 1973 年 ,Lotfi Zadeh 发 表 了 他 的 第 二 篇 有 广泛 影响 力 的 论文 (Zadeh, 1973) 。 该 论文 概述 了 分 
术 复 杂 系统 的 新 方法 ,在 文中 Zadeh 建议 以 模糊 规则 获取 人 类 的 知识 。 

什么 是 模糊 规则 

模糊 规则 可 定义 为 以 下 形式 的 条 件 语句 : 


IF xisA 
THEN yisB 


其 中 ,x y 是 语言 变量 ;4 和 8B 分别 是 由 论 域 X 和 Y 上 的 模糊 集 定义 的 语言 值 。 
经 典 规则 和 模糊 规则 之 间 的 区 别 是 什么 
经 典 IF — THEN 规则 使 用 二 值 逻 辑 , 例 如: 
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Rule: 1 
IF speed is » 100 
THEN stopping distance is long 


Rule: 2 
IF speed is « 40 ， 
THEN stopping distance is short 


变量 speed 可 取 0 ~ 220km/h 之 间 的 任何 数值 ,语言 变量 stopping, distance 可 取 的 值 为 long 或 
short。 换 名 话说, 经典 的 规则 可 以 用 布尔 逻辑 的 非 黑 即 白 的 语言 来 描述 。 但 是 也 可 以 将 上 面 的 规 
则 以 模糊 的 形式 描述 : 


Rule: 1 


IF speed is fast 
THEN stopping_distance is long 


Rule: 2 
IF speed is slow 
THEN stopping distance is short 


在 本 例 中 ,语言 变量 speed 的 范围 ( 论 域 ) 为 0 ~220km/h。 但 这 个 范围 包含 模糊 集 ,例如 slow 
medium 和 fast。 语 言 变量 stopping distance 的 论 域 是 0 ~300m, 并 可 以 包含 short medium 和 long 这 
样 的 模糊 集 。 这 样 模糊 集 就 可 以 和 模糊 规则 联系 起 来 。 

模糊 专家 系统 合并 规则 ,结果 减少 了 至 少 90% 的 规则 数量 。 

怎样 使 用 模糊 规则 推理 

模糊 推理 有 两 个 不 同 的 部 分 :评估 规则 的 前 项 (规则 的 IF 部 分 ) ,并 将 结果 应 用 到 后 项 (规则 
的 THEN 部 分 ) 。 

在 经 典 的 基于 规则 的 系统 中 ,如 果 规 则 的 前 项 为 真 ,那么 后 项 也 为 真 。 在 模糊 系统 中 ,前 项 是 
模糊 语句 ,所 有 的 规则 在 一 定 程度 上 被 激发 , 换 句 话说 ,规则 被 部 分 激发 ,如 果 前 项 在 某 种 程度 上 
为 真 ,那么 后 项 在 该 程度 上 也 为 真 。 

例如 ,有 两 个 模糊 集 tall men 和 heavy men ,分 别 如 图 4. 8 所 示 。 


1.0 


1.0 


Tall men Heavy men 

0.8 0.8 
det 0.6 det 0.6 
ME Me 
te 0.4 # 04 

0.2 0.2 

0.0 0.0 

160 180 190 200 70 80 100 120 
mE (cm) 体重 (kg) 
图 4.8 tall men 和 heavy men 模糊 集 
这 些 模 糊 集 提供 了 体重 评估 模型 的 基础 。 模 型 是 基于 男人 的 身高 和 体重 之 间 的 关系 的 ,可 以 
用 下 面 的 模糊 规则 来 表示 : 


IF height is tall 
THEN weight is heavy 


从 前 项 中 相应 成 员 为 真 的 程度 可 以 估计 后 项 的 输出 值 或 者 成 员 为 真 的 程度 (Cox, 1999), ER 
糊 推 理 的 这 种 形式 使 用 称 作 单调 选择 的 方法 。 图 4.9 显示 了 如 何 通过 男性 的 身高 推导 出 男性 的 
体重 。 
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Tall men 








"160 180 190 200 “70 80 100 120 
ia BE (cm) 体重 (kg) 


图 4.9 男性 体重 值 的 单调 选择 


模糊 规则 的 前 项 可 以 有 多 个 部 分 吗 
模糊 规则 是 产生 式 规则 ,因此 可 以 有 多 个 前 项 ,例如 : 


IF project_duration is long 

AND project staffing is large 

AND project funding is inadequate 
THEN risk is high 


IF service is excellent 
OR food is delicious 
THEN tip is generous 


用 前 面 章节 讨论 过 的 模糊 集 操作 ,可 以 同时 计算 规则 前 项 的 各 个 部 分 并 得 到 单一 的 数值 。 
模糊 规则 的 后 项 可 以 有 多 个 部 分 吗 
模糊 规则 的 后 项 也 可 以 包含 多 个 部 分 ,例如 : 


IF temperature is hot 
THEN hot water is reduced; 
cold water is increased 


本 例 中 ,后 项 的 所 有 部 分 受 前 项 的 影响 是 相同 的 。 

通常 ,模糊 专家 系统 会 集成 描述 专家 知识 的 几 个 规则 (相互 之 间 可 能 会 有 矛盾 ) 。 每 个 规则 的 
输出 是 一 个 模糊 集 , 但 通常 需要 得 出 一 个 数值 来 表示 模糊 系统 的 输出 。 换 句 话 说 ,我 们 想 要 的 是 
精确 的 而 不 是 模糊 的 结论 。 

怎样 将 输出 的 模糊 集结 合并 转换 成 一 个 单独 的 数值 

为 了 得 到 输出 变量 单一 清晰 的 结果 ,模糊 专家 系统 首先 将 所 有 的 输出 模糊 集聚 集 到 一 个 模 
糊 输 出 集中 ,然后 将 模糊 集 的 结果 逆 模 糊 化 为 一 个 单独 的 数值 。 下 一 节 将 讨论 这 个 完整 的 
过 程 。 


4.6 模糊 推理 
模糊 推理 的 定义 是 :使 用 模糊 集 理论 ,将 给 定 输入 映射 到 输出 的 过 程 。 


4.6.1 Mamdani-style 推理 


模糊 推理 技术 中 最 常用 的 方法 是 Mamdani 方法 。1975 年 伦敦 大 学 的 Ebrahim Mamdani 教授 奸 
立 了 第 一 个 模糊 系统 来 控制 蒸汽 机 和 锅炉 ( Mamdani and Assilian,1975) 。 他 应 用 了 一 套 有 经 验 的 
人 类 操作 员 提供 的 模糊 规则 。 ， 

Mamdani-style 模糊 推理 过 程 按 4 个 步骤 执行 :输入 变量 的 模糊 化 规则 评估 ,聚合 规则 的 输出 
以 及 最 终 的 道 模糊 化 。 
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在 这 里 用 一 个 包含 3 个 规则 (mle) ,两 输入 一 输出 的 简单 例子 来 说 明 各 部 分 间 是 如 何 协同 工 


作 的 : 
Rule: 1 Rule: 1 
IF xis A3 IF project. funding is adequate 
OR yis Bl OR project. staffing is small 
THEN zis Cl THEN risk is low 
Rule: 2 Rule: 2 
IF xis AZ IF project_funding is marginal 
AND yis B2 AND project staffing is large 
THEN zisC2 THEN risk is normal 
Rule: 3 Rule: 3 
IF xis Al IF project. funding is inadequate 
THEN zis C3 THEN risk is high 


其 中 ,xy All z( project funding project staffing 和 risk) 为 语言 变量 ;41 .42 和 A3 ( inadequate , mar- 
ginal 和 adequate ) J& H HR X ( project fanding) 上 模糊 集 定 义 的 语言 值 ;B1 Al B2 ( small fi large) Æ Hi 
test Y E (project staffing) 模糊 集 定义 的 语言 值 ;C1、C2 和 C3 (low, normal high) 是 由 论 域 Z C risk) 
上 模糊 集 定 义 的 语言 值 。 

Mamdani-style 模糊 推理 的 基本 结构 如 图 4. 10 所 示 。 

步骤 1: 模糊 化 。 

此 步骤 是 取得 清晰 的 输入 x1 和 y1( project funding 和 project staffing) ,确定 每 个 输入 属于 每 个 
合适 模糊 集 的 程度 。 

什么 是 清晰 的 输入 ? 如 何 确定 

清晰 的 输入 是 指 位 于 论 域内 的 数值 型 的 值 。 在 本 例 中 ,xl 和 yl 的 值 都 分 别 位 于 论 域 
和 了 中 。 论 域 的 范围 可 通过 专家 的 判断 来 确定 。 例 如 , 如果 需 要 考虑 开发 “模糊 "项 目的 风 
险 ,可 以 要 求 专家 给 出 0 ~ 100 多 之 间 的 值 分 别 表示 项 目 资金 和 项 目 员工 。 换 句 话 说 ,专家 需 
要 回答 怎样 才 是 项 目 资金 和 项 目 员 工 足 够 的 程度 。 当 然 ,不 同 的 模糊 系统 使 用 不 同 的 清晰 输 
和 人 人 。 其 中 有 些 输入 是 可 以 直接 测量 的 (身高 .体重 .速度 .距离 .温度 .压力 等 ) ,而 有 些 输入 只 
能 由 专家 估计 。 

一 旦 获得 了 清晰 的 输入 «1 和 yl ,就 可 以 按照 合适 的 语言 模糊 集 进 行 模糊 化 。 清 晰 的 输入 
x1 ( project funding ,专家 确定 为 33% ) 对 应 于 隶属 函数 AT 和 A2 (inadequate 和 marginal) ,隶属 度 
分 为 0.5 和 0.2; 清 晰 的 输入 yl ( project stuffing, 专家 确定 为 60% ) 映射 到 隶属 函数 B1 和 B2 
(small 和 large) ,隶属 度 分 别 为 0.1 和 0.7. 按照 这 种 方式 ,每 个 输入 按照 模糊 规则 的 隶属 取 数 进 
行 模糊 化 。 

步骤 2; 规则 评估 。 

此 步 又 为 取得 模糊 化 后 的 输入 ;psy = 0-5 uo 70:2 sans =0.1 以 及 wa =0.7， 
并 将 它们 应 用 到 模糊 规则 的 前 项 。 如 果 给 定 的 模糊 规则 有 多 个 前 项 , 则 使 用 模糊 操作 (AND 或 
OR ) 来 得 到 表示 前 项 评估 结果 的 一 个 数值 。 将 这 个 数值 ( 真 值 ) 接 下 来 应 用 在 后 项 隶属 函数 中 。 

为 了 评估 规则 前 项 的 逻辑 和 ,使 用 OR 模糊 操作 。 通 常 ,模糊 专家 系统 使 用 图 4. 10( 规 则 1) 所 
示 的 是 经 典 模糊 操作 “并 ”(4. 14) : 

Maus (x) =max[ pea(x) us (x) ] 

但 是 ,如 果 有 必要 ,可 以 很 容易 地 制定 OR 操作 。 例 如 ,MATLAB Fuzzy Logic Toolbox 有 两 个 内 
置 的 OR 方法 :max 和 概率 OR 方法 一 一 probor 。 概 率 OR 方法 也 就 是 代数 和 ,计算 方法 如 下 : 

Haus (X) 2 probor[ iu, (x) us (x) ] 2u4Cx) tus(%) ^u4(x) Xul) (4. 15) 
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Moan= 9-5 Hv- 0.1 
Haa 7 0.2 Hy =p) 7 0.7 





规则 评估 


LY Y 
0 Z 


zis CI(0.1) 


XE 


4.10  Mamdani-style 模糊 推理 的 基本 结构 


类 似 地 ， 为 了 评估 规则 前 项 的 “并 ”， 应 用 如 图 4.10 (规则 2) 所 示 的 AND 模糊 操作 
"XU, 


见 公式 (4.13): 
Bana x) = min[ u, (x) Aa x) ] 
Fuzzy Logic Toolbox 也 提供 两 种 AND 方法 : min 和 乘积 方法 





prod。 乘 积 的 计算 方法 是 : 
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Mans CX) = prod[ n, (x) us (x) ] 24x) xus(x) (4. 16) 
模糊 操作 的 不 同方 法 会 产生 不 同 的 结果 吗 
模糊 研究 人 员 建 议 并 应 用 不 同 的 方法 来 执行 AND 和 OR 等 模糊 操作 (Cox，1999)， 当 然 ， 
不 同 的 方法 可 能 导致 不 同 的 结果 。 利 用 大 多 数 模 糊 包 也 可 以 定制 AND 和 OR 等 模糊 操作 ， 用 户 
需要 自己 做 出 选择 。 
下 面 再 看 以 下 规则 。 
a ; x is A3 (0.0) 
OR yis B1 (0.1) 
THEN zis C1 (0.1) 
Ha(z) =max[ pa (x) ig Cy) ] 2 max[0.0,0.1] =0.1 
or 
Ba (2) 2 probor[ us (x) ug (y) ] =0.0+0.1-0.0x0.1=0.1 
m ; x is A2 (0.2) 
AND yis B2 (0.7) 
THEN zis C2 (0.2) 
Bo (2) 2 minus (x) um Cy) ] 2? min[0.2,0.7] 20.2 
or 
Aa (2) 7 prod[us (x) p(y) ] 20.2 x0. 7 20.14 
因此 ， 规 则 2 的 表达 如 图 4. 11 所 示 。 





图 4.11 AND 的 产生 式 模 糊 操 作 


现在 前 项 评估 的 结果 可 以 应 用 到 后 项 的 隶属 函数 中 。 换 名 话说， 后 项 隶属 函数 被 剪 切 或 缩 
放 到 规则 前 项 的 真 值 水 平 。 

“ 剪 切 或 缩放 ”是 什么 意思 

将 规则 后 项 和 规则 前 项 的 真 值 关 联 起 来 最 常见 的 方法 是 简单 地 裁减 后 项 隶属 函数 ， 使 之 与 
前 项 的 真 值 水 准 一 致 ， 这 种 方法 也 叫做 剪 切 或 最 小 相关 性 。 由 于 隶属 函数 的 顶层 被 分 段 ， 剪 切 后 
的 模糊 集 损 失 了 一 部 分 信息 。 但 是 ， 剪 切 仍然 是 最 常用 的 ， 因 为 它 的 数学 复杂 性 低 、 运 算 速 度 
快 、 并 且 能 产生 易于 逆 模 糊 化 的 聚合 输出 表面 。 

前 切 是 最 常 使 用 的 方法 ， 而 缩放 或 相关 性 产生 式 提 供 了 保持 模糊 集 原始 形状 的 更 好 的 方法 。 
规则 后 项 的 原始 隶属 函数 通过 将 其 所 有 隶属 度 乘 以 规则 前 项 的 真 值 来 调整 。 这 种 方法 损失 的 信 
息 较 少 ， 在 模糊 专家 系统 中 非常 有 用 。 

剪 切 和 缩放 隶属 函数 如 图 4. 12 所 示 。 

HRI: 聚合 规则 的 输出 。 

聚合 是 所 有 规则 输出 进行 单一 化 的 过 程 。 换 句 话说 ， 我 们 取 之 前 经 过 前 切 和 缩放 的 所 有 规 
则 后 项 的 隶属 函数 并 将 它们 合并 到 一 个 模 类 集中。 因此， 聚合 过 程 的 输入 是 已 经 剪 切 或 缩放 后 
的 后 项 隶属 函数 的 列表 ， 输 出 是 每 个 输出 变量 分 别 有 一 个 模糊 集 。 图 4. 10 显示 了 每 个 规则 的 输 
出 是 如 何 集成 到 代表 整个 模糊 输出 的 单一 的 模糊 集 的 。 
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109 图 4. 12 ” 剪 切 和 缩放 的 隶属 函数 


Ho BRA: 逆 模糊 化 。 

模糊 推理 过 程 的 最 后 一 个 步骤 是 逆 模 糊 化 。 模 糊 化 可 以 帮助 我 们 评估 规则 ,但 是 模糊 系统 
的 最 终 输 出 必须 是 一 个 清晰 的 值 。 逆 模糊 化 过 程 的 输入 是 集成 的 模糊 和 输出 集 ， 该 输出 是 单一 的 
数值 。 

如 何 将 聚合 模糊 集 逆 模 糊 化 

有 几 种 逆 模 糊 化 的 方法 (Cox，1999)， 但 最 常用 的 是 质心 技术 (centroid teehnique) 。 这 种 技 
术 寻 找 一 个 点 ， 这 个 点 所 在 的 垂直 线 能 够 将 聚合 集 分 割 成 两 个 相等 的 部 分 。 这 个 重力 的 质心 
(Centre of Gravity, COG) 的 数学 表示 为 ， 





COG = 二 -一 (4. 17) 
[i Go 





150 160 170 180 190 200 210 


Ac 


111 4.13 逆 模 糊 化 的 质心 方法 
从 理论 上 说 ，COG 是 在 聚合 输出 隶属 函数 的 连续 空间 点 上 计算 ， 但 实际 上 ， 可 以 通过 在 
如 图 4.13 所 示 的 样本 点 上 计算 COG 来 得 到 COG 的 合理 估 值 。 在 这 种 情况 下 ， 使 用 下 面 的 


公式 : 


coe = = (4.18) 
> un.) 
现在 计算 本 例 中 的 重力 质心 ， 方 法 如 图 4. 14 所 示 。 


cog -CO+10+20) x0.1+(30+40+50+60) x0.2+(70+80+90+100) x0. 5 
~ 0.1+0.14+0.14+0.24+0.24+0.24+0.240.54+0.54+0.540.5 


=67.4 
因此 ， 逆 模糊 化 的 结果 是 ,zl 的 清晰 输出 为 67.4， 意 思 是 该 “模糊 ”项 目的 风险 为 67. 4% 。 
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图 4. 14 变量 模糊 集 的 逆 模 糊 化 


4.6.2 Sugeno-style 推理 


如 前 所 述 ，Mamdani-style 推理 需要 通过 整合 连续 变化 的 函数 找到 二 维 形状 的 质心 ， 通 常 这 个 
过 程 计 算 的 效率 不 高 。 

是 否 可 以 缩短 模糊 推理 的 时 间 

我 们 使 用 只 有 一 个 尖峰 的 单 态 函数 作为 规则 后 项 的 隶属 函数 。 这 种 方法 由 Michio Sugeno 
(被 誉 为 日 本 的 Zadeh) 在 1985 年 首次 提出 〈Sugeno，1985 ) 。 单 态 模 式 ， 更 确切 地 说 是 模糊 
单 态 模式 ， 是 带 有 隶属 函数 的 模糊 集 ， 该 隶属 函数 在 论 域 的 某 个 点 上 为 1， 在 其 他 点 上 为 0。 

Sugeno-style 模糊 推理 和 Mamdani 方法 很 相似 。Sugeno 仅 改 变 了 规则 的 后 项 。 他 使 用 输入 变 
量 (而 不 是 模糊 集 ) 的 数学 函数 。Sugeno-style 模糊 规则 的 格式 为 : 


THEN zisf(x,y) 

其 中 ,x、y 和 z 是 语言 学 变量 ; A MBOIR XA M Y DEDE: 所 zx,7) 是 数学 函数 。 
最 常用 的 零 阶 Sugeno 模糊 模型 应 用 以 下 形式 的 模糊 规则 : 

IF xisA 


AND yisB 
THEN zisk 


Hpk BBR. 

在 这 种 情况 下 ， 每 个 模糊 规则 的 输出 是 常数 。 换 句 话 说 ， 所 有 的 后 项 隶属 函数 由 单 态 尖 
峰 来 表示 。 图 4. 15 显示 了 零 阶 Sugeno 模型 的 模糊 推理 过 程 。 我 们 比较 一 下 图 4. 15 和 图 4. 10, 
Sugeno 和 Mamdani 两 种 方法 的 相似 性 是 显而易见 的 ， 仅 有 的 差别 是 Sugeno 方法 的 后 项 是 单 
态 的 。 

清晰 的 输出 结果 是 怎样 得 到 的 

如 图 4. 15 所 示 ， 聚 合 操作 就 是 将 所 有 的 单 态 模式 包含 在 一 起 ， 下 面 来 寻找 这 些 单 态 模式 的 
加 权 平 均值 (Weight Average, WA): 

WA ulk) X kl tu(k2) xk2 +u(k3) x k3 _0. 1 x20 «0.2 x50 «0.5 x 80 _ 
p(k) +u(k2) +043) 0.1+0.2+0.5 

因此 ， 对 于 我 们 的 问题 ， 零 阶 Sugeno RAM EBS. PEKE, BAH PECORI HEB 

是 问题 的 需要 。 
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清晰 的 输入 
xl 













Hog) 9.1 
2 Ho-5279-7 





Rule 3: IF x is 41(0.5) 












4.15  Sugeno-style 模糊 推理 的 基本 结构 
用 Mamdani 法 还 是 Sugeno 法 
在 获取 专家 知识 时 常 使 用 Mamdani 方法 。 因 为 这 种 方法 可 以 用 更 直接 、 更 接近 人 类 的 方式 
来 描述 专家 的 意见 ， 但 是 Mamdani 模糊 推理 的 计算 量 大 。 另 一 方面 ，Sugeno 方法 的 计算 效率 高 ， 
并 能 够 与 优化 算法 和 自 适应 技术 协同 工作 ， 这 使 得 该 方法 在 控制 问题 ， 尤 其 是 动态 非 线性 系统 
中 很 有 吸引 力 。 
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4.7 建立 模糊 专家 系统 


为 了 说 明 如 何 设计 模糊 专家 系统 ， 下 面 考虑 一 个 备件 服务 中 心 的 例子 (Turksen et al. ，1992) 。 

服务 中 心 保存 备件 并 修复 损坏 的 备件 。 客 户 拿 来 一 个 损坏 的 备件 ， 换 走 一 个 相同 型 号 的 备 
件 。 损 坏 的 备件 被 修好 后 放置 在 架子 上 作为 备件 ， 如 果 架 子 上 有 所 需 的 备件 ， 那 么 客户 从 架子 上 
拿 走 备件 并 离开 服务 中 心 。 如 果 架 子 上 没有 备件 ， 客 户 就 必须 等 待 ， 直 到 拿 到 需要 的 备件 为 止 。 
我 们 的 目标 是 向 备件 服务 中 心 的 经 理 建 议 使 客户 满意 的 决策 方针 。 

开发 模糊 专家 系统 的 典型 过 程 的 步骤 如 下 : 

1) 指定 问题 并 定义 语言 变量 。 

2) 定义 模糊 集 。 

3) 抽取 并 构造 模糊 规则 。 

4) 对 模糊 集 、 模 糊 规则 和 过 程 进行 编码 以 在 专家 系统 中 执行 模糊 推理 。 

5) 评估 并 调试 系统 。 

JR: 指定 问题 并 定义 语言 变量 。 

建立 任何 专家 系统 的 第 一 个 也 是 最 重要 的 步骤 是 指定 问题 ， 需要 按照 知识 工程 的 方式 来 并 
述 问题 。 换 句 话 说 ， 要 确定 问题 的 输入 和 输出 变量 及 范围 。 

在 我 们 的 问题 中 ， 有 4 个 主要 的 语言 变量 : 平均 等 待 时 间 (平均 延迟 ) m、 服 务 中 心 的 修理 
ALAA op. RE RAR s 以 及 初始 备件 数量 n。 

客户 的 平均 等 待 时 间 m 是 评价 服务 中 心性 能 最 重要 的 标准 。 服 务 的 实际 平均 延迟 不 能 超过 
客户 可 以 接受 的 限度 。 

服务 中 心 的 修理 利用 因子 p 是 客户 到 达 率 和 RIKER uo A 和 的 量 级 分 别 表示 零件 损坏 
(单位 时 间 内 的 损坏 ) 和 修复 (单位 时 间 内 的 修复 ) 的 比率 。 显 然 ， 修 复 率 应 该 和 服务 员 人 数 * 
成 正比 。 要 提高 服务 中 心 的 生产 率 ， 经 理应 当 使 修理 利用 率 因 子 的 值 尽 可 能 高 。 

服务 员 的 人 数 * 和 初始 备件 数量 n 直接 影响 客户 的 平均 等 候 时 间 ， 对 中 心 的 性 能 有 重要 的 影 
响 。 如 果 增 加 s 和 nn， 就 可 以 减少 平均 延迟 时 间 ， 但 同时 增加 了 雇佣 新 服务 人 员 的 成 本 ， 增 加 配 
件 的 数量 ， 就 要 扩展 服务 中 心 的 库存 能 力 以 容纳 新 增 配 件 。 

首先 确定 备件 的 初始 数量 上， 给 定 客 户 平均 延迟 时 间 m、 服 务 员 的 人 数 ; 和 修理 利用 因子 po 
因此 ， 在 这 里 考虑 的 决策 模型 中 ， 有 3 个 输入 : m、s 和 p，, 一 个 输出 上 。 换 名 话说 ， 服 务 中 心 的 
经 理应 该 决定 在 客户 可 接受 的 范围 内 维持 平均 延迟 时 间 所 需 的 配件 数量 。 

接 下 来 确定 语言 变量 的 范围 。 假 设 表 4. 3 是 得 到 的 结果 ， 其 中 m、s 和 已 经 标准 化 ， 即 除 
以 相应 的 最 大 量 级 基本 数值 ， 得 到 的 范围 [0, 1]。 


表 4.3 语言 变量 及 其 范围 
语言 变量 ; 平均 延迟 (m) 


语言 符号 
Very Short VS 

Short dL S 
Medium 




















值 范围 〈 标 准 化 ) 
[0, 0.3] 
[0.1, 0.5] 

[0.4, 0.7] 


























值 范围 (标准 化 ) 
[0, 0.35] 
[0.30, 0.70] 
[0.60, 1] 
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(E) 
语言 变量 :: 修理 利用 因子 (o) 
语言 值 符号 值 范围 〈 标 准 化 ) 
Low L [0, 0.6] 
Medium M [0.4, 0.8] 
High H [0.6, 1] 
语言 变量 ; 备件 数 (n) 
语言 值 符号 值 范围 (标准 化 ) 
Very Small VS [0, 0.30] 
Small S [0, 0.40] 
Rather Small RS [0.25, 0.45] 
Medium M [0.30, 0.70] 
Rather Large RL [0.55, 0.75] 
Large L [0.60, 1] 
Very Large VL [0.70, 1] 


注意 : 对 于 客户 平均 延迟 mm， 这 里 仅 考 虑 了 3 个 语言 值 : Very Short. Short 和 Medium, BH 
其 他 的 取 值 ， 例 如 Long 和 Very Long 是 不 符合 实际 情况 的 。 服 务 中 心 的 经 理 不 可 能 容忍 客户 等 待 
的 时 间 超 过 Medium。 
实际 上 ， 所 有 的 语言 变量 、 语 言 言 值 及 其 范围 通常 是 由 领域 专家 来 选择 的 。 
步骤 2: 确定 模糊 集 。 
模糊 集 可 以 有 不 同 的 形状 ,通常 三 角形 和 四 边 形 就 是 以 表达 专家 的 知识 了 ， 同 时 也 能 极 大 
地 简化 计算 的 过 程 。 
115 图 4.16 ~ 图 4.19 显示 了 例子 中 用 到 的 所 有 语言 变量 的 模糊 集 。 你 可 能 已 经 注意 到 ， 这 里 的 
116 一 个 关键 点 是 在 相 邻 的 模糊 集 间 保 持 足够 的 重 芍 ， 以 便 模 糊 系统 能 够 平滑 地 响应 。 








0.8 
i 0.6 
Iia 
# 04 
0.2 
0.0 
0 01 02 03 04 05 06 07 08 09 1 
平均 延迟 ( 标准 化 ) 
图 4.16 平均 延迟 m 的 模糊 集 
1.0 
0.8 
X 0.6 
Tek 
Wt 04 
0.2 
0.0 


0 01 02 03 04 05 06 07 08 09 | 
服务 员 的 人 数 (标准 化 ) 


图 4.17 服务 员 人 数 * 的 模糊 集 
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0 
0 01 02 03 04 05 06 07 08 09 | 
修理 利用 因子 


图 4.18 修理 利用 因子 p 的 模糊 集 





03 04 05 06 07 
备件 数量 (标准 化 ) 


图 4.19 备件 数量 ”的 模糊 集 


步骤 3: 抽取 并 构造 模糊 规则 。 

下 面 要 获得 模糊 规则 。 要 完成 这 个 任务 ， 就 需要 向 专家 咨询 如 何 使 用 前 面 定 义 过 的 模糊 语 
言 变量 来 解决 问题 。 

所 需要 的 知识 也 可 以 从 其 他 渠道 收集 得 到 ， 这 些 渠 道 包 括 书本 、 计 算 机 数据 库 、 流 程 图 和 观 
察 到 的 人 类 行为 。 在 本 例 中 ， 可 以 应 用 研究 论文 (Turksen et al., 1992) 中 提供 的 规则 。 

在 本 例 中 ， 有 3 个 输入 变量 和 一 个 输出 变量 。 用 矩阵 形式 来 表示 模糊 规则 通常 十 分 便利 。 一 
个 二 对 一 的 系统 〈 两 个 输入 和 一 个 输出 ) 可 以 描述 为 输入 变量 的 M x NM, BERI T A 
变量 的 语言 值 ， 纵 轴 为 另 一 个 输入 变量 的 语言 值 ， 行 和 列 的 交集 为 输出 变量 的 语言 值 。 对 于 三 对 
一 的 系统 (三 个 输入 和 一 个 输出 )， 可 以 用 帮 xN x 上 的 立方 体 表示 。 这 种 表现 方法 称 为 模糊 关 
联 记 忆 (Fuzzy Associative Memory, FAM), 

首先 ， 使 用 修理 利用 因子 p 和 备件 数量 = 之 间 最 基本 的 关系 ， 假 设 其 他 输入 变量 是 固定 的 。 
这 个 关系 可 以 用 下 面 的 形式 来 表达 : 如 果 p 增加 ， 那么 n 不 应 该 减少 。 因 此 可 写 出 下 面 3 条 
规则 : 

1. If (utilisation factor is L) then (number. of spares is S) s 

2. |f (utilisation factor is M) then (number. of. spares is M) 

3. If (utilisation factor is H) then (number of spares is L) 

现在 用 3 x3 的 FAM， 它 用 矩阵 形式 表示 剩 下 的 规则 ， 结 果 如 
Fd 4. 20 所 示 。 

同时 ， 详 细 分 析 服 务 中 心 的 操作 〈 带 有 “专家 特征 " ) (Turks- 
en et al. ，1992) ， 可 以 导出 描述 专家 系统 中 使 用 的 所 有 变量 之 间 复 
杂 的 复杂 关系 的 27 条 规则 。 表 4.4 给 出 了 这 些 规则 ,图 4. 21 显示 “图 4 20 正方 形 FAM 表示 
了 立方 体 (3 x3 x3) FAM, 





m 
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表 4.4 规则 表 
HW m s: p n MH m 5 p n 
1 vs S L VS S M 19 VS S H VL 
2 S S L VS S M 20 S S H L 
3 M S L VS S M 21 S H M 
4 VS M L VS 13 VS M M RS | 2 VS M H M 
6 M M L VS M M 24 M M H S 
7 VS L L S L M 25 VS L H RL 
8 S L L S L M 26 S L H M 
9 M L L VS L M 27 L H RS 





图 4.21 立方 体 FAM 和 分 层 的 立方 体 FAM 表示 


首先 开发 12 个 (3 +3 x3) 规则 ， 接 下 来 得 到 27 个 (3 x3 x3) 规则 。 如 果实 现 了 这 两 个 
方案 ， 就 可 以 比较 结果 。 只 有 系统 的 性 能 才能 告诉 我 们 哪个 方案 比较 好 。 


Rule Base1 


. {f (utilisation factor is L) then (number of spares is S) 
. If (utilisation factor is M) then (number of spares is M) 
. If (utilisation factor is H) then (number. of spares is L) 


. If (mean delay is VS) and (number. of servers is S) 
then (number. of spares is VL) 
[119] . If (mean delay is S) and (number of servers is S) 
then (number. of spares is L) 


a Boom 





6. If (mean delay is M) and (number of servers is S) 
then (number of spares is M) 


7. If (mean delay is VS) and (number of servers is M) 
then (number of spares is RL) 

8. If (mean delay is S) and (number of servers is M) 
then (number of spares is RS) 

9. If (nean delay is M) and (number of servers is M) 
then (number of spares is S) 


10. if (mean delay is VS) and (number. of servers is L) 
then (number of spares is M) 

1t. If (mean delay is S) and (number of servers is L} 
then (number. of spares is S) 

12. If (mean delay is M) and (number of servers is 1) 
then (number of spares is VS) 


Rule Base2 


1. 
2. 
3. 


If (mean delay is VS) and (number of servers is S) 

and (utilisation factor is L) then (number of spares is VS) 
If (mean delay is S) and (number. of. servers is S) 

and (utilisation factor is L) then (number. of spares is VS) 
If (mean, delay is M) and (number. of. servers is S) 

and (utilisation, factor is L) then (number. of spares is VS) 


. If (mean delay is VS) and (number of servers is M) 


and (utilisation factor is L) then (number. of spares is VS) 


. If (mean delay is S) and (number of servers is M) 


and (utilisation factor is L) then (number. of spares is VS) 


. If (mean delay is M) and (number of servers is M) 


and (utilisation factor is L) then (number. of spares is VS) 


. If (mean delay is VS) and (number of servers is L) 


and (utilisation factor is L) then (number of spares is S) 


. If (mean delay is S) and (number. of servers is L) 


and (utilisation factor is L) then (number of spares is S) 


. If (mean delay is M) and (number. of servers is L) 


and (utilisation factor is L) then (number. of spares is VS) 


. If (mean delay is VS) and (number. of servers is S) 


and (utilisation factor is M) then (number. of. spares is S) 


. If (mean delay is S) and (number. of servers is S) 


and (utilisation factor is M) then (number of spares is VS) 


. If (mean delay is M) and (number of servers is S) 


and (utilisation factor is M) then (number of spares is VS) 


. If (mean delay is VS) and (number. of servers is M) 


and (utilisation factor is M) then (number of spares is RS) 


. If (mean delay is S) and (number of servers is M) 


and (utilisation factor is M) then (number. of spares is S) 


. If (mean, delay is M) and (number of servers is M) 


and (utilisation factor is M) then (number. of spares is VS) 


. If (mean delay is VS) and (number, of servers is L) 


and (utilisation factor is M) then (number. of, spares is M) 


. Kf (mean delay is S) and (number. of servers is L) 


and (utilisation factor is M) then (number of spares is RS) 


. If (mean, delay is M) and (number of servers is L) 


and (utilisation factor is M) then (number of spares is S) 


. If (mean delay is VS) and (number. of servers is S) 


and (utilisation factor is H} then (number. of spares is VL) 


. If (mean delay is S) and (number, of servers is S) 


and (utilisation factor is H) then (number of spares is L) 


. If (mean delay is M) and (number of servers is S) 


and (utilisation factor is H} then (number of spares is M) 


. If (mean delay is VS) and (number. of servers is M) 


and (utilisation factor is H) then (number. of spares is M) 


. If (mean delay is S) and (number. of servers is M) 


and (utilisation factor is H) then (number. of spares is M) 


. if (mean delay is M) and (number of servers is M) 


and (utilisation factor is H) then (number. of. spares is S) 


. If (mean delay is VS) and (number. of servers is L) 


and (utilisation factor is H) then (number. of spares is RL) 


. If (mean delay is S) and (number of servers is L) 


and (utilisation factor is H) then (number of spares is M) 


. If (mean, delay is M) and (number. of servers is L) 


and (utilisation factor is H) then (number. of. spares is RS) 
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步骤 4: 对 模糊 集 、 模 糊 规则 和 过 程 编码 以 便 在 专家 系统 中 执行 模糊 推理 。 

定义 模糊 集 和 模糊 规则 后 ， 就 要 对 它们 编码 ， 建 立 实际 的 专家 系统 ， 为 了 达到 这 个 目标 ， 有 两 
个 选择 : 用 C m Pascal 这 样 的 编程 语言 来 建立 系统 ， 或 者 用 MathWorks 的 MATLAB Fuzzy Logic Tool- 
box 或 Fuzzy System Engineering 的 Fuzzy Knowledge Builder 这 样 的 模糊 逻辑 开发 工具 来 建立 系统 。 

大 多 数 经 验 丰富 的 模糊 系统 构建 者 喜欢 用 C/C++ 编程 语言 (Li and Gupta, 1995; Cox, 1999), 
因为 这 种 语言 有 更 大 的 灵活 性 。 但 是 ， 为 了 快速 地 开发 并 得 到 模糊 专家 系统 的 原型 ， 最 好 的 选择 是 
模糊 逻辑 开发 工具 。 这 种 工具 会 为 创建 和 测试 专家 系统 提供 完善 的 环境 。 砚 如 ，MATLAB Fuzzy 
Logic Toolbox 有 5 个 集成 的 图 形 编辑 器 : 模 类 推 理 系统 编辑 器 、 规 则 编辑 器 、 隶 属 函数 编辑 器 、 模 
糊 推理 查看 器 和 输出 界面 查看 器 。 这 些 功能 使 得 设计 模糊 系统 变 得 更 加 容易 。 对 于 没有 丰富 的 模糊 
专家 系统 构建 经 验 的 初学 者 而 言 ， 这 也 是 个 更 好 的 选择 。 在 选 定 了 模糊 逻辑 开发 工具 后 ， 知 识 工程 
师 仅 仅 需 要 将 模糊 逻辑 按照 类 似 于 英语 的 语法 来 编码 ， 并 定义 图 形 化 的 隶属 函数 即 可 。 
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为 了 建立 本 例 的 模糊 专家 系统 ， 我 们 选择 最 常用 的 工具 之 一 一 -MATLAB Fuzzy Logic Tool- 
box。 它 提供 了 处 理 模 糊 规 则 和 用 户 图 形 界面 的 系统 架构 。 对 于 构建 模糊 系统 的 新 手 而 言 ， 这 个 
工具 很 容易 控制 ， 并 易于 使 用 。 

RS: 评估 并 调试 系统 。 

最 后 也 是 最 艰苦 的 工作 是 评估 和 调整 系统 。 我 们 要 看 模糊 系统 是 否 满足 开始 指定 的 需求 。 
一 些 测试 情形 取决 于 平均 延迟 、 服 务 员 的 人 数 和 修理 利用 因子 。RFuzzy Logic Toolbox 可 以 产生 表 








面 来 帮助 我 们 分 析 系 统 的 性 能 。 图 4. 22 为 两 个 输入 和 一 个 输出 的 系统 三 维 图 。 
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a) 
图 4.22 规则 库 1 的 三 维 图 

但 是 我 们 的 系统 有 3 个 输入 和 一 个 输出 。 可 以 超越 三 维 空间 吗 ? 如 果 超 越 了 三 维 空间 ， 那 么 
在 显示 结果 时 会 遇 到 困难 。 幸 运 的 是 , Fuzzy Logic Toolbox 有 专门 的 功能 : 它 可 以 根据 任意 两 个 输 
人 和 人， 以 及 将 第 三 个 输入 设 成 常数 来 绘制 三 维 输出 表面 。 因 此 ， 我 们 就 可 以 在 两 个 三 维 图 上 观察 3 
个 输入 一 个 输出 的 系统 的 性 能 。 

虽然 模糊 系统 运转 良好 ， 但 我 们 还 想 应 用 规则 库 2 来 改进 它 。 结 果 如 图 4. 23 所 示 。 比 较 一 
下 图 4. 22 和 图 4.23， 就 可 以 看 到 改进 之 处 。 
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图 4.23 规则 库 2 的 三 维 图 

即使 是 这 样 ， 专 家 可 能 对 系统 的 性 能 还 是 不 满意 。 为 了 提高 性 能 ， 专 家 可 能 建议 在 服务 员 人 
数 的 论 域 上 增加 附加 的 集合 (Rather Small and Rather Large) 来 改进 系统 的 性 能 (如 图 4.24 所 
m), ， 并 依照 图 4. 25 所 示 的 FAM 扩展 规则 库 。 模 糊 系 统 可 以 很 容易 地 进行 修改 和 扩展 让 我 们 能 
够 听从 专家 的 建议 并 很 快 获得 如 图 4. 26 所 示 的 结果 。 

通常 ， 调 试 模糊 专家 系统 花费 时 间 和 精力 远 远 超过 决定 模糊 集 和 构建 模糊 规则 所 花费 的 时 
间 和 精力 。 一 般 情况 下 ， 合 理 的 解决 方案 可 以 从 第 一 组 模糊 集 和 模糊 规则 中 获得 。 这 是 模糊 逻辑 
公认 的 优势 ; 但 是 ， 改 进 系 统 更 像 是 艺术 而 不 是 工程 。 

调试 模糊 专家 系统 要 按照 以 下 次 序 执行 一 系列 的 操作 : 

1) 回顾 模型 的 输入 变量 和 输出 变量 ， 如 果 有 必要 重新 定义 变量 的 范围 ， 要 特别 注意 变量 的 
单位 ， 在 同一 领域 中 使 用 的 变量 必须 用 论 域 上 的 相同 单位 加 以 度量 。 
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平均 延迟 0 。 服务 员 的 人 数 — 
a) b) 
图 4.26 规则 库 3 的 三 维 图 
2) 回顾 模糊 集 ， 如 果 必 要 的 话 可 以 在 论 域 上 定义 附加 的 集合 。 使 用 更 广泛 的 模糊 集 可 能 会 
导致 模糊 系统 粗略 执行 。 
3) 相 邻 集合 之 间 要 有 足够 的 重 人 村。 虽然 没有 精确 的 方法 确定 合适 的 重 本 程度 ， 但 这 里 建议 
三 对 三 和 四 对 四 的 模糊 系统 应 该 有 25% ~ 5090 KBB (Cox, 1999), 
4) 回顾 现 有 的 规则 ， 如 果 有 必要 则 在 规则 库 中 加 入 新 的 规则 。 
5) 检查 规则 库 以 便 写 规则 限制 语 来 捕捉 系统 的 不 正常 行为 。 
6) 调节 规则 执行 的 权重 。 大 多 数 模糊 逻辑 工具 允许 通过 改变 权重 乘 数 来 控制 规则 的 重要 性 。 
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在 Fuzzy Logic Toolbox 中 ， 所 有 的 规则 都 有 默认 的 权重 (1.0), 但 是 用 户 可 以 通过 调节 权重 
来 降低 规则 的 强制 性 。 例 如 ， 指 定 

If (utilisation factor is H) then (number. of. spares is L) (0.6) 

那么 规则 的 强制 性 降低 了 40% 。 

7) 修订 模糊 集 的 形状 。 在 大 多 数 情 况 下 ， 模 糊 系 统 对 形状 近似 是 高 度 宽容 的 。 因 此 即使 模 
糊 集 的 形状 没有 精确 的 定义 ， 系 统 也 可 以 运行 良好 。 

逆 模 糊 化 的 方法 怎么 样 ? 是 否 应 该 尝试 不 同 的 技术 来 调整 系统 

质心 技术 可 以 得 到 一 致 的 结论 。 这 种 是 一 种 对 整个 模糊 区 域 的 高 度 和 宽度 以 及 备件 的 尖峰 
敏感 的 很 好 的 平衡 方法 。 因 此 ， 除 非 你 有 充足 的 理由 相信 你 的 模糊 系统 在 其 他 逆 模 糊 化 方法 中 
将 运转 良好 ， 否 则 推荐 利用 质心 技术 。 


4.8 小 结 


本 章 介绍 了 模糊 逻辑 并 探讨 了 其 背后 的 哲学 思想 ， 介 绍 了 模糊 集 的 概念 以 及 如 何在 计算 机 
中 表示 模糊 集 ， 并 检查 了 模糊 集 的 操作 。 我 们 还 定义 了 语言 变量 和 模糊 限制 语 ， 随 后 介绍 了 模糊 
规则 并 解释 了 经 典 规则 和 模糊 规则 的 区 别 。 本 章 主 要 研究 了 两 种 模糊 推理 技术 一 一 Mamdani 和 
Sugeno， 并 给 出 了 它们 的 适用 情况 。 最 后 介绍 开发 模糊 专家 系统 的 步骤 ， 并 详细 说 明了 建立 和 调 
整 模 糊 系 统 的 实际 步 又。 

本 章 的 主要 内 容 有 : 

e 模糊 逻辑 是 描述 模糊 的 逻辑 。 模 糊 逻 辑 试图 对 人 类 的 语言 、 决 策 和 常识 建 模 ， 这 样 会 促 
使 出 现 更 加 智能 化 的 机 器 。 

e 模糊 逻辑 是 在 20 世纪 20 年 代 由 Jan Lukasiewicz 提出 的 ， 在 20 世纪 30 年 代 由 Max Black 
进行 了 仔细 的 研究 ， 并 在 20 世纪 60 年 代 由 Lotfi Zadeh 重新 发 现 ， 并 扩展 至 数学 逻辑 的 
正式 系统 中 。 

。 模糊 逻辑 是 基于 隶属 度 的 知识 表达 的 数学 原理 的 集合 ， 而 不 是 基于 经 典 二 值 逻 辑 中 的 清 
晰 的 隶属 关系 。 和 二 值 的 布尔 逻辑 不 同 ， 模 糊 逻 辑 是 多 值 的 。 

e 模糊 集 是 有 模糊 边界 的 集合 ， 例 如 ， 对 于 男性 身高 而 言 的 shor 、average 或 tall。 为 了 在 计 
算 机 中 表达 模糊 集 ， 我 们 用 函数 来 表示 集合 ， 并 将 集合 中 的 元 素 映 射 到 隶属 度 。 模 糊 专 
家 系统 中 经 典 的 隶属 函数 是 三 角 函 数 和 梯形 函数 。 

。 语言 变量 用 来 描述 有 含糊 或 模糊 取 值 的 术语 或 概念 。 这 些 值 用 模糊 集 表 示 。 

。 模糊 限制 语 是 模糊 集 的 限定 词 ， 用 来 更 改 模糊 集 的 形状 。 模 糊 限 制 语 包含 very. some- 
what, quite, more or less 及 slightly 这 样 的 副词 。 模 糊 限 制 语 执行 数学 集中 的 操作 来 减少 
模糊 元 素 的 隶属 度 〈 例 如 ，very tall men) ， 或 通过 增加 隶属 度 来 扩展 (WAM, more or less 
tall men， 即 有 点 高 的 男人 )。 通 过 增加 隶属 度 在 0.5 以 上 的 值 来 加 强 ， 或 减少 隶属 度 在 
0.5 以 下 的 值 来 减弱 (例如 ，indeed tall men) 。 

e 模糊 集 之 间 可 以 相互 作用 。 这 些 关 系 称 为 操作 。 模 糊 集 间 的 主要 操作 有 : 补 、 包 含 、 交 和 并 。 

e 模糊 规则 用 来 获取 人 类 的 知识 。 模 糊 规则 是 以 下 形式 的 条 件 语句 : 


IF xisA 
THEN yisB 


其 中 ,x 和 y 是 语言 变量 ,4 和 B 是 模糊 集 决定 的 语言 值 。 

。 模糊 推理 是 用 模糊 集 理 论 将 给 定 的 输入 映射 到 输出 的 过 程 。 模 糊 推 理 包含 4 个 步骤 : 输 
人 变量 模糊 化 、 评 估 规 则 、 聚 合 规则 的 输出 以 及 逆 模 糊 化 。 

。 有 两 种 模糊 推理 技术 : Mamdani 和 Sugeno, Mamdani 方法 在 模糊 专家 系统 中 应 用 广泛 ， 因 
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为 这 种 方法 能 够 用 模糊 规则 来 获得 专家 的 知识 。 但 是 Mamdani 的 模糊 推理 的 计算 量 非 
常 大 。 

e 为 了 改进 模糊 推理 的 计算 效率 ，Sugeno 使 用 有 尖峰 的 单 态 函 数 来 作为 规则 后 项 的 隶属 函 
数 。Sugeno 方法 可 以 和 优化 及 自 适 应 技术 协同 作用 ， 因 此 在 控制 ， 尤 其 是 动态 非 线性 系 
统 中 非常 适用 。 

e 建立 模糊 系统 是 一 个 迭代 的 过 程 ， 包 括 定义 模糊 集 和 模糊 规则 、 评 估 和 调试 系统 ， 以 适 
应 具体 的 需求 。 

e 调试 是 在 建立 模糊 系统 中 最 单调 和 费力 的 过 程 ， 通 常 涉 及 调试 现 有 的 模糊 集 和 模糊 规则 。 


复习 题 


No ë = 


CA 


coo ~ 


9. 


.什么 是 模糊 逻辑 ? 哪些 人 创建 了 模糊 逻辑 ? 为 什么 说 模糊 逻辑 促进 了 更 加 智能 机 器 的 出 现 ? 
. 什么 是 模糊 集 和 隶属 函数 ? 清晰 集 和 模糊 集 之 间 有 什么 不 同 ? 定义 男性 体重 论 域 上 可 能 的 模 


WIR 


. 定义 语言 变量 和 语言 值 ， 并 给 出 例子 。 如 何在 模糊 规则 中 使 用 语言 变量 ? 给 出 模糊 规则 的 


例子 。 


- 什么 是 模糊 限制 语 ? 模糊 限制 语 如 何 更 改 现 有 的 模糊 集 ? 给 出 执行 集中 、 扩 展 和 增强 操作 的 


模糊 限制 语 。 给 出 合适 的 数字 表示 和 图 形 表 示 。 


. 定义 模糊 集 的 主要 操作 ， 并 举例 说 明 。 如 何 应 用 模糊 集 操作 、 性 质 和 模糊 限制 语 ， 以 及 从 现 


有 模糊 集中 获得 大 量 模糊 集 ? 


. 什么 是 模糊 规则 ? 经 上 典 规则 和 模糊 规则 之 间 的 区 别 是 什么 ? 举例 说 明 。 
. 定义 模糊 推理 。 模 糊 推 理 过 程 的 主要 步骤 有 哪些 ? 
. 如 何 评估 模糊 规则 的 多 个 前 项 ? 举例 说 明 。 执 行 AND 和 OR 模糊 操作 的 不 同方 法 会 得 到 不 同 


的 结果 吗 ? 为 什么 ? 
什么 是 模糊 集 的 前 切 ? 什么 是 模糊 集 的 缩放 ? 哪 种 方法 最 好 地 保持 了 模糊 集 的 原始 形状 ? 为 
什么 ? 举例 说 明 。 


10. 什么 是 逆 模 糊 化 ?最 常用 的 逆 模 糊 化 方法 是 什么 ? 如 何 通 过 数学 方式 和 图 形 方式 确定 模糊 系 


统 的 最 终 输出 ? 


11. Mamdani 和 Sugeno 模糊 推理 方法 有 什么 不 同 ? 什么 是 单 态 ? 
12. 开发 模糊 专家 系统 的 主要 步骤 有 哪些 ?该 过 程 中 最 费力 和 枯燥 的 步 又 是 哪个 ?为 什么 ? 
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Artificial Intelligence, 3E 


基于 框架 的 专家 系统 


本 章 介 绍 专家 系统 中 表达 知识 的 一 种 常用 方法 : 基于 框架 的 方法 ， 介 绍 如 何 开发 基于 框架 
的 专家 系统 ， 并 通过 实例 来 说 明 。 


5.1 框架 简介 


计算 机 中 的 知识 可 以 通过 几 种 技术 来 表示 。 在 前 面 几 章 中 介绍 了 规则 。 本 章 主要 用 框架 
(frame) 来 表达 知识 。 

什么 是 框架 

框架 是 带 有 关于 某 个 对 象 和 概念 的 典型 知识 的 数据 结构 。 框 架 由 Marvin Minsky F 20 世纪 70 
年 代 提 出 (Minsky，1975) ， 用 来 在 基于 框架 的 专家 系统 中 获得 和 表达 知识 。 图 5.1 所 示 的 登 机 
证 即 为 表达 航班 乘客 知识 的 框架 。 两 个 框架 的 结构 相同 。 


QANTAS BOARDING PASS AIR NEW ZEALAND BOARDING PASS 


Carrier: QANTAS AIRWAYS Carrier: AIR NEW ZEALAND 
Name: MR N BLACK Name: MRS J WHITE 
Flight: QF 612 Flight: NZ 0198 

Date: 29DEC Date: 23NOV 

Seat: 23A Seat: 27K 

From: HOBART From: MELBOURNE 

To: MELBOURNE To: CHRISTCHURCH 
Boarding: 0620 Boarding: 1815 

Gate: 2 Gate: 4 





图 5.1 登 机 证 框架 


每 个 框架 都 有 自己 的 名 称 和 相关 的 属性 〈 或 槽 ) 的 集合 。Name、weighi、height 和 age 
是 person TE JR BJ TE, model, processor, memory 和 price 是 computer 框架 的 柳 。 每 个 属性 (或 
HE) 有 具体 的 取 值 。 例如， 在 图 5. 1a 中 ，Carrier (运输 公司 ) 的 槽 值 是 QANTAS AIR- 
WAYS, Gate 的 槽 值 为 2。 在 某 些 情况 下 ， 槽 值 可 能 不 是 一 个 值 ， 而 是 由 一 段 程 序 来 决定 它 
的 取 值 。 

在 专家 系统 中 ， 框 架 主 要 用 于 和 产生 式 规 则 连接 。 

为 什么 有 必要 使 用 框架 

框架 为 实现 知识 的 结构 化 和 简化 表达 提供 了 一 种 自然 的 方法 。 在 单一 实体 中 ， 框 架 包含 与 
某 个 对 象 或 概念 有 关 的 所 有 必需 的 知识 。 框 架 提 供 了 一 种 将 知识 组 织 成 模 以 描述 对 象 的 不 同属 
性 和 特征 的 方法 。 

前 面 已 经 说 过 ， 真 实 世 界 中 的 很 多 问题 都 可 以 很 自然 地 用 下 -THEN 产生 式 规则 来 表示 。 但 
是 ， 使 用 系统 的 搜索 技术 基于 规则 的 专家 系统 会 用 到 散布 在 整个 知识 库 中 的 行为 。 这 样 可 能 会 
搜索 到 与 给 定 问 题 无 关 的 知识 ， 因 此 这 种 搜索 可 能 会 耗费 太 多 的 时 间 。 例 如 ， 假 如 仅仅 搜索 有 关 


第 5 章 基于 框架 的 专家 系统 ”87 


Qantas 的 飞行 员 的 知识 ， 就 希望 避免 搜索 到 有 关 Air New Zealand 或 British Airways 的 乘客 的 知识 。 
在 这 种 情况 下 ， 就 需要 框架 以 便 在 单一 的 结构 中 收集 相关 的 行为 。 

基本 上 ， 框 架 是 专家 系统 的 面向 对 象 编程 的 一 种 应 用 。 

什么 是 面向 对 象 的 编程 

面向 对 象 的 编程 可 以 定义 成 以 对 象 作 为 分 析 、 设 计 和 实现 基础 的 编程 方法 。 在 面向 对 象 的 
编程 中 ， 对 象 被 定义 成 一 个 有 清晰 边界 的 概念 、 抽 象 或 事物 ， 对 所 有 要 处 理 的 问题 而 言 是 有 意义 
AJ (Rumbaugh et al. , 1991) 。 所 有 的 对 象 都 有 特征 ， 可 以 彼此 清晰 地 区 分 开 来 。 例 如 ，Michael 
Black, Audi 5000 Turbo, HP Pavilion P6555A 等 就 是 对 象 的 例子 。 

对 象 在 单一 实体 中 将 数据 结构 及 其 行为 结合 在 一 起 。 这 一 点 和 传统 的 编程 截然 不 同 ， 在 传 
统 的 编程 中 ， 数 据 结构 和 程序 行为 间 的 关系 是 隐 含 或 模糊 的 。 

面向 对 象 的 编程 提供 了 一 种 很 自然 地 在 计算 机 中 描述 真实 世界 的 方式 ， 也 具有 数据 依赖 性 
问题 ， 这 一 点 是 传统 编程 固有 的 特点 (Weisfeld，2008) 。 当 程序 员 用 面向 对 象 的 编程 语言 创建 
一 个 对 象 时 ， 首 先 要 指定 对 象 的 名 称 ， 然 后 确定 一 系列 描述 对 象 特 征 的 属性 ， 最 后 编写 指定 对 象 
行为 的 程序 。 

知识 工程 师 将 对 象 称 为 框架 ， 框 架 这 个 由 Minsky 引信 的 术语 已 经 成 为 AI 的 术语 ， 现 在 对 象 
和 框架 是 同义词 。 


5.2 知识 表达 技术 一 一 框架 

框架 的 概念 通过 樟 的 集合 定义 。 每 个 槽 描述 了 框架 的 某 个 属性 或 操作 。 在 很 多 方面 ， 框 架 与 
传统 的 包含 了 实体 相关 信息 的 “记录 ”类 似 。 模 用 来 存储 值 ， 槽 可 以 包含 默认 值 ， 或 指向 其 他 
框架 ， 一 系列 规则 或 过 程 的 指针 ， 利 用 指针 可 以 得 到 相应 的 槽 值 。 通 常 ， 槽 可 能 包含 如 下 几 种 
信息 。 

1) 框架 的 名 称 。 

2) 框架 之 间 的 关系 。IBM Aptiva S35 框架 可 能 是 Computer 类 的 一 个 成 员 ， 而 Computer 类 可 以 
属于 Hardware 类 。 

3) 槽 值 。 醒 的 值 可 能 是 符号 值 、 数 字 值 或 布尔 值 。 例 如 ， 在 图 $.1 所 示 的 框架 中 ， 槽 的 
Name 具有 符号 值 ， 槽 的 Gate 为 数字 值 。 槽 值 可 以 在 创建 框架 时 指定 ， 也 可 以 在 专家 系统 会 话 时 
指定 。 

4) 贰 认 槽 值 。 在 没有 发 现 相 反 的 迹象 时 ， 可 以 将 默认 值 设 为 真 。 例 如 ， 汽 车 框架 有 4 个 轮 
T, 椅子 框架 有 4 条 腿 ， 这 些 均 可 以 作为 相应 槽 值 的 默认 值 。 

5) 槽 值 的 范围 。 槽 值 的 范围 决定 了 某 个 对 象 或 概念 是 否 符合 框架 定义 的 原型 需求 。 例 如 ， 
计算 机 的 成 本 可 以 设置 在 750 ~ 1500 美元 。 

6) 程序 信息 。 一 个 槽 可 以 附加 一 个 程序 ( 自 包 含 的 任意 的 计算 机 编码 段 )， 在 需要 槽 值 或 
槽 值 发 生 改 变 时 执行 该 程序 。 通 常 有 两 种 类 型 的 程序 可 以 附加 到 档 上 : 

(a) 槽 中 加 入 新 信息 时 执行 WHEN CHANGED 程序 。 

(b) 当 解 决 问题 需要 信息 但 还 没有 指定 槽 值 的 时 候 执行 WHEN CHANGED 程序 。 

这 种 附加 的 程序 也 称 作 守护 程序 。 

基于 框架 的 专家 系统 通过 应 用 侧面 来 扩展 槽 值 的 结构 。 

什么 是 侧面 

侧面 (facet) 是 为 框架 的 属性 提供 知识 扩展 的 一 种 方法 。 侧 面 用 来 建立 属性 值 ， 控 制 最 终 
用 户 的 查询 ， 并 告知 推理 引擎 如 何 处 理 这 些 属 性 。 

通常 ， 基 于 框架 的 专家 系统 允许 将 值 、 提 示 和 推理 侧面 附加 在 属性 上 。 值 侧面 指定 属性 的 默 
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认 值 和 初始 值 。 提 示 侧 面 (prompt facet) 允许 在 与 专家 系统 的 会 话 中 终端 用 户 可 以 在 线 输入 属 
性 值 。 最 后 ,推理 侧面 用 于 在 指定 的 属性 值 发 生 改变 时 停止 推理 过 程 。 

将 问题 恰当 地 分 解 为 框架 、 模 和 侧面 的 标准 是 什么 

将 问题 恰当 地 分 解 为 框架 ， 将 框架 分 解 为 模 和 侧面 取决 于 问题 的 本 质 和 知识 工程 师 的 判断 ， 
因此 没有 可 以 预定 义 的 “正确 ”的 表示 。 

图 5. 2 显示 了 描述 计算 机 的 框架 ,顶端 的 框架 表示 Computer Æ, 下面 的 框架 描述 HP 
Pavilion P6555A 和 Acer Aspire M3910 两 个 实例 。 这 里 用 到 了 两 种 属性 : 用 于 符号 信息 的 字符 
串 类 型 [Str] 和 用 于 数字 的 数字 型 [N] 。 注 意 ，Desktop 类 中 的 默认 和 初始 值 侧面 附加 在 
Optical Drive, Keyboard, Warranty 和 Stock 槽 上， 而 属性 名 称 、 类 型 、 默 认 和 初始 值 是 由 实 


例 继承 的 。 


















[Str] Installed RAM: 
[Str] Hard Drive: 
Str] Graphical Card: 










TA 





[ 
[Str] Keyboard: [Default] 
[ 





[Str] Stock: [Initial] 








[Str] Model: Pavilion P6555A 
[Str] Processor: Intel Core i5 3.2 GHz 
[Str] Installed RAM: 4 GB 












[N] Cost: 2147.00 
[Str] Stock: In stock 







= 













[Str] Stock: In stock 





图 5.2 Desktop 类 和 实例 


什么 是 类 和 实例 

“框架 ”这 个 词 的 意思 很 含糊 。 框 架 可 以 指 某 个 对 象 ， 如 计算 机 HP Pavilion P65554， 也 可 以 
指 一 组 相似 的 对 象 。 为 了 更 精确 一 些 ， 可 以 用 实例 框架 (instance-frame) 来 指 某 个 对 象 ， 用 类 框 
AR (class-frame) 指 一 组 相似 的 对 象 。 

类 框架 描述 一 组 有 共同 属性 的 对 象 ，animal、person、car 和 computer 都 是 类 框架 。 在 人 工 智 
能 中 ， 通 常用 缩写 词 “ 类 ”(class) 而 不 是 术语 “类 框架 ”。 
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基于 框架 的 系统 中 的 每 一 个 框架 都 “知道 ” 它 的 类 。 换 句 话 说， 框架 的 类 是 框架 的 隐 含 属 
性 。 例 如 ， 图 5. 2 的 实例 在 槽 Class 中 标识 了 它们 的 类 。 

如 果 对 象 是 基于 框架 系统 的 基础 ， 那 和 类 有 什么 关系 

将 对 象 成 组 放 人 类 中 使 我 们 可 以 用 抽象 的 形式 来 表示 问题 。Minsky 将 框架 描述 为 “表示 国 
定 状 态 的 数据 结构 " 。 通 常 ， 人 们 很 少 关心 严格 地 、 详 尽 地 定义 每 个 对 象 的 属性 ， 而 更 关心 整个 
类 的 显而易见 的 属性 。 例 如 ， 以 鸟 为 例 ， 鸟 会 飞 吗 ? 答案 当然 是 会 。 几 乎 所 有 的 鸟 都 会 飞 ， 因 此 
我 们 就 认为 飞 的 能 力 是 鸟 类 的 -一 个 基本 特征 ， 尽 管 也 存在 像 能 鸟 这 样 不 会 飞 的 鸟 。 换 句 话说 ， 和 
能 鸟 相 比 ， 庆 是 鸟 类 更 好 的 成 员 ， 因 为 应 是 鸟 类 更 典型 的 代表 。 

基于 框架 的 系统 支持 类 的 继承 。 继 承 的 基本 原理 是 ， 类 框架 的 属性 表示 对 于 类 中 所 有 的 对 
象 都 为 真 的 事物 。 但 是 ， 在 实例 框架 的 槽 中 也 可 以 填写 每 个 实例 所 特有 的 实际 数据 。 

来 看 一 个 简单 的 框架 结构 ， 如 图 5.3 Era. Passenger car 类 有 有 几 个 适合 所 有 汽车 的 属性 ,但 
这 个 类 有 太 多 的 不 同 ， 以 至 于 几乎 没有 什么 可 以 填写 的 公共 属性 ， 即 使 对 Engine type, Drivetrain 
type 和 Transmission type 等 属性 加 入 一 些 限制 也 是 如 此 。 注 意 ， 这 些 属性 是 声明 为 复合 的 [C]. 
复合 的 属性 可 以 假设 成 在 一 组 符号 值 中 仪 取 一 个 值 ， 例 如 ， 属 性 Engine type 可 以 假设 在 In-line 4 
cylinder 或 V6 中 选择 一 个 ， 但 不 能 同时 取 这 两 个 值 。 

Mazda 类 通过 “is-a” 关 系 链 接 到 其 超 集 Passenger car, Mazda 类 继承 了 超 类 的 所 有 属性 ， 并 
且 声 明了 属性 Country of manufacture, BE HERI (E 7g Japan, Mazda 626 类 引入 了 3 个 属性 : Model, 
Colour 和 Owner。 最 后 实例 框架 Mazda DR - 1216 从 Mazda 框架 中 继承 了 生产 国家 的 属性 ， 和 
Mazda 626 一 样 ， 为 所 有 复合 的 属性 设置 了 单一 的 取 值 。 

实例 框架 可 以 覆盖 从 类 框架 中 继承 的 属性 吗 

实例 框架 可 以 覆盖 或 者 可 以 违背 继承 来 的 一 些 属性 值 。 例 如 ，Mazda 626 类 的 平均 耗 油 量 是 
每 加 仑 22 英里 , 但 是 实例 Mazda DR - 1216 的 性 能 可 能 没 那 么 好 ， 因 为 它 已 经 跑 了 很 多 里 程 。 
Mazda DR — 1216 框架 保留 了 Mazda 626 类 的 实例 ， 利 用 层次 结构 中 上 层 的 属性 ， 即 使 它 和 类 中 
的 标准 值 不 同 。 

这 种 层次 结构 中 框架 之 间 的 关系 构成 了 专门 化 的 过 程 。 层 次 结构 顶端 的 类 框架 表示 一 些 通 
用 的 概念 ， 下 面 的 类 框架 为 一 些 有 限制 的 概念 和 更 接近 实际 例子 的 实例 。 

对 象 如 何 关 联 到 基于 框架 的 系统 ? 关系 “is-a” 是 唯一 可 用 的 关系 吗 

通常 ， 对 象 之 间 有 3 种 关系 : 泛 化 、 聚 合 和 关联 。 

泛 化 (generalisation) 表明 超 类 和 子 类 间 的 “a-kind-of” 或 “is-a” 关 系 。 例 如 ， 汽 车 是 一 种 
交通 工具 ， 换 名 话说 ，Car 类 是 更 通用 的 超 类 Vehicle 的 子 类 。 每 个 子 类 从 其 超 类 中 继承 所 有 的 
特征 。 

聚合 (aggregation) 表明 是 “a-part-of ”或 “part-whole” 关 系 ， 几 个 代表 组 成 部 分 的 子 类 都 
为 代表 整体 的 超 类 的 一 部 分 。 例 如 ， 引 擎 类 是 汽车 类 的 一 部 分 。 

关联 (association) 描述 无 关 类 之 间 的 一 些 语义 关系 ， 例 如 ，Black 先生 有 房子 、 车 子 和 计算 
BL. House, Car, Computer 3 个 类 之 间 是 相互 独立 的 , 但 是 它们 都 通过 语义 的 关联 链接 到 框架 Mr 
Black 上 。 

与 泛 化 和 聚合 关系 不 同 ， 关 联 作为 动词 出 现 并 双向 继承 。 

计算 机 拥有 Black 先生 吗 ? 当然 ， 双 向 关联 的 名 称 可 以 在 一 个 方向 上 解读 ， 如 “Black 先生 
拥有 一 台 计 算 机 ”， 也 可 以 反 向 解读 。 拥 有 的 反义词 为 属于 ， 因 为 反方 向 解读 应 为 “计算 机 属于 
Black 先生 ”。 事 实 上 ， 两 个 方向 上 的 意义 是 等 价 的 ， 是 指 相同 的 关联 。 
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IS-a 


Passenger car 


is-a is-a 


Mazda 626 Mazda DR-1216 


2) 汽车 框架 的 关系 


CLASS: Passenger car 


[C] Engine type 
In-line 4 cylinder: 
V6: 


[N] Horsepower: 


[C] Drivetrain type 
Rear wheel drive 
Front wheel drive: 
Four whee! drive: 


[C] Transmission type 
5-speed manual: 
4-speed automatic: 


[N] Fuel consumption (mpg): 
[N] Seating capacity: 


CLASS Mazda 626 


Superclass: Mazda 


Superclass: 


[C] Engine type 
In-line 4 cylinder: 
V6: 


[N] Horsepower: 


[C] Drivetrain type 
Rear wheel drive 
Front wheel drive: 
Four wheel drive: 


Passenger car 





[C] Transmission type 
5-speed manual: 
4-speed automatic: 


[N] Fuel consumption (mpg): 
[N] Seating capacity: 
[Str] Country of manufacture: Japan 


INSTANCE Mazda DR-1216 


Class: Mazda 





[C] Engine type 
Inline 4 cylinder: 


V6: 
[N] Horsepower: 125 


[C] Drivetrain type 
Rear wheel drive 
Front wheel drive: 
Four wheel drive: 


[C] Transmission type 
5-speed manual: 
4-speed automatic: 


[N] Fuel consumption (mpg): 22 


[N] Seating capacity: 5 


[Str] Country of manufacture: Japan 


[Str] Model: 


[C] Colour 
Glacier White: 
Sage Green Metallic: 
Slate Blue Metallic: 
Black Onyx Clearcoat: 


[Str] Owner: 


[C] Engine type 
Inine 4 cylinder: 
V 


6: 
[N] Horsepower: 125 


[C] Drivetrain type 
Rear wheel drive 
Front wheel drive: 
Four wheel drive: 


[C] Transmission type 
5-speed manual: 
4-speed automatic: 


[N] Fuel consumption (mpg): 28 
[N] Seating capacity: 5 
[Str] Country of manufacture: Japan 
[Str] Model: DX 


[C] Colour 
Glacier White: 
Sage Green Metallic: 
Slate Blue Metallic: 
Black Onyx Clearcoat: 


[Str] Owner: 


FALSE 
TRUE 

FALSE 
FALSE 


Mr Black 








b) 汽车 框架 和 它们 的 楼 
图 5.3 简单 框架 结构 中 模 值 的 继承 
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图 5.4 显示 了 不 同 对 象 间 的 3 种 关系 。 





CLASS: Vehicle 








CLASS: Airplane 


Superclass: Vehicle 


CLASS: Car 


Superclass: Vehicle 


a)izft 


CLASS: Boat 


Superclass: Vehicle 












CLASS: Transmission 


Superclass: Car 


CLASS: Engine 


Superclass: Car 


b) 聚合 


CLASS: Chassis 


Superclass: Car 
















CLASS: Computer 


Superclass: Mr Black 


CLASS: House 


. Superclass: Mr Black 








CLASS: Car 
Superclass: Mr Black 


c) 关联 


图 5.4 ”对象 间 的 3 种 关系 


5.3 基于 椎 架 的 系统 中 的 继承 

继承 是 基于 框架 的 系统 的 基本 特征 。 继 承 的 定义 是 : 类 框架 的 所 有 特征 由 实例 框架 确定 的 
过 程 。 

继承 的 常规 用 法 是 向 所 有 的 实例 框架 强加 默认 的 属性 。 可 以 创建 一 个 类 框架 ， 其 包含 一 些 
对 象 或 概念 的 通用 属性 ， 然 后 再 获得 一 些 实例 框架 而 不 需要 为 类 级 别 的 特征 编码 。 

基于 框架 系统 的 层次 结构 可 视 作 颠倒 的 树 。 最 高 层 的 抽象 位 于 树 的 根部 。 其 下 的 分 支 的 抽 
象 级 别 较 低 ， 最 底层 的 叶 结 点 为 实例 框架 。 每 个 框架 都 从 高 层 的 所 有 相关 框架 继承 特征 。 

图 5.5 为 无 污染 (Zero-Emission, ZE) 交通 工具 框架 的 层次 结构 。 根 结 点 ZE Vehicle 有 3 个 
4X Electric vehicle, Solar vehicle 和 Muscle vehicle。 接 下 来 沿 着 其 中 的 一 个 分 支 Electric vehicle ft 
下 走 ， 该 分 支 又 被 细 分 为 Car. Motorcycle 和 Scooter。 接 下 来 Car 又 细 分 为 Sedan, Van 和 Truck, 
最 底层 的 叶 结 点 为 实例 框架 Ford Ecostar。 实 例 Ford Ecostar 从 其 父 框架 中 继承 所 有 的 特征 。 

实际 上 ， 实 例 Ford Ecostar 仅 有 一 个 父 类 一 一 类 框架 Van。 此 外 ， 在 图 5.5 中 ， 除 了 根 框架 
ZE vehicle 外 的 所 有 框架 仅 有 一 个 父 类 。 在 这 种 类 型 的 结构 中 ， 每 个 框架 从 其 父 类 、 祖 父 类 和 曾 
祖父 类 等 继承 知识 。 

框架 可 以 有 超过 一 个 的 父 类 吗 

在 很 多 问题 中 ， 表 达 与 不 同 址 界 关联 的 对 象 是 很 自然 的 。 例 如 ， 我 们 希望 创建 一 个 人 力 太 阳 
能 电动 汽车 类 。 用 这 种 车 疏 山 的 时 候 ， 人 们 可 以 通过 踏 踏板 来 启动 电力 驱动 系统 ， 太 阳 能 电池 板 
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会 为 电力 系统 充电 。 因 此 ， 框 架 Muscle-Solar-Electric 应 该 结合 3 个 类 (Muscle vehicle, Solar ve- 
138 hicle 和 Electric vehicle) 的 特殊 的 属性 。 多 个 父 类 继承 的 唯一 要 求 是 所 有 父 类 的 属性 必须 唯一 
139 指定 。 
CLASS: ZE vehicle 


[N] Weight, kg : 
{N} Top speed, km/h: 


CLASS: Solar vehicle CLASS: Muscle vehicle 
Superclass: ZE vehicle Superclass: ZE vehicle 


CLASS: Electric vehicle 
Superclass: ZE vehicle 
IN) Weight, kg : 

[N] Top speed, km/h: 
[Str] Motor: 

[Str] Battery type: 


CLASS: Motorcycle CLASS: Scooter 
Superclass: Electric vehicle Superclass: Electric vehicle 


CLASS: Car 


Superclass: Electric vehicle 
[N] Weight, kg: 

[N] Top speed, km/h: 
[Str] Motor: 

[Str] Battery type: 

[N] Range, km: 


CLASS: Sedan CLASS: Van CLASS: Truck 


Superclass: Car 

[N] Weight, kg: 

[N] Top speed, km/h : 
[Str] Motor: 

[St] Battery type: 


Superclass: Car Superclass: Car 


[N] Range, km: 
[N]  Payload, kg: 


INSTANCE: Ford Ecostar 


Class: Van 

[N] Weight, kg: 1851 
[N] Top speed, km/h: 113 
IN] Range, km: 161 
[N] Payload, kg: 463 


图 5.5 无 污染 交通 工具 结构 中 的 单 父 类 继承 


在 基于 框架 的 系统 中 ， 几 个 类 可 以 使 用 相同 的 属性 名 。 但 在 多 重 继承 中 ， 所 有 的 父 类 必须 有 唯 
一 的 属性 名 。 例 如， 要 创建 父 类 为 Muscle vehicle, Solar vehicle 和 Electric vehicle 的 子 类 Muscle-Solar- 
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Electric, MAREEA pA Weight. Top speed 这 样 的 属性 ， 只 有 这 样 才 能 创建 子 类 。 换 句 话 说 ， 
要 创建 多 重 继承 的 子 类 ， 必 须 重新 考虑 系统 的 整个 结构 ， 如 图 5.6 所 示 。 


CLASS: Electric vehicle CLASS: Solar vehicle CLASS: Muscle vehicle 
[Str] Motor : [Str] Solar panel type: [N] Number of wheels : 


[Str] Battery type : [Str] Solar ceil material: 











[N] Pedalling manpower : 













CLASS: Muscle-Solar-Electric vehicle 


Superclass: Electric vehicle 
Solar vehicle 
Muscle vehicle 










Motor : 








[Str] 
[Str] Battery type: 
[Str] Solar panel type: 


[Str] Solar cell material: 


[N] Weight, kg : 
[Str] Battery type : Sealed lead acid 


图 5.6 多 重 继承 


在 基于 框架 的 系统 中 ,继承 意味 着 代码 重用 ， 同 时 知识 工程 师 的 工作 就 是 将 相似 的 类 归 类 ， 
重用 公共 的 代码 。 继 承 最 重要 的 优点 是 概念 上 的 简化 ， 通 过 在 专家 系统 中 减少 独立 和 具体 特征 
的 数量 可 以 达到 这 一 目的 。 

基于 框架 的 专家 系统 有 缺点 吗 

和 上 面 的 例子 一 样 ， 基 于 框架 的 专家 系统 中 很 多 简化 的 想法 其 实在 执行 阶段 都 丢失 了 。 
Brachman 和 Levesque (2004) 证 明 ， 如 果 人 允许 无 限制 地 覆盖 继承 的 属性 ， 就 不 可 能 表达 确定 的 
语句 (例如 “所 有 的 正方 形 都 是 等 边 的 长 方形 ”) 或 不 确定 的 普遍 的 条 件 (例如 “Kasimir Ma- 
levich 的 所 有 绘画 作品 中 的 正方 形 都 是 黑色 、 红 色 和 白色 的 ”)。 通 常 ， 基 于 框架 的 系统 不 能 区 别 
本 质 属性 《实例 必须 包含 的 属性 ， 用 来 区 别 其 是 否 为 该 类 的 成 员 ) 和 附加 属性 (该 类 的 所 有 实 
例 只 是 刚好 有 这 样 的 属性 ) 。 实 例 继承 所 有 的 典型 属性 ， 并 因为 这 些 属性 可 以 在 框架 层次 结构 中 
被 覆 写 ， 因 此 使 用 多 重 继承 时 构建 组 合 概念 变 得 难以 实现 。 
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看 上 去 这 样 破坏 了 整个 框架 知识 表达 的 思想 。 然 而 ， 框 架 提供 了 一 种 有 力 的 工具 ， 可 以 结合 
陈述 性 知识 和 过 程 性 知识 ， 虽然 这 样 使 知识 工程 师 很 难 就 系统 的 层次 结构 和 继承 途径 做 出 决策 。 
因此 ， 所 谓 的 “典型 ”特征 并 不 总 是 实用 ， 因 为 它 使 我 们 得 到 难以 预料 的 结果 。 因 此 ， 虽 然 可 
以 使 用 框架 来 表达 “能 乌有 是 一 种 鸟 ” 这 个 事实 , 但 能 鸟 并 不 是 典型 的 鸟 类 ， 而 在 该 意义 上 鹰 是 
鸟 类 。 基 于 框架 的 专家 系统 ， 例 如 ， 在 Level5 Object 中 ， 没 有 提供 阻止 创建 不 一 致 结构 的 安全 保 
BE, 但 是 这 样 的 系统 与 传统 的 程序 语言 相 比 能 提供 更 加 适合 人 类 推理 方式 的 数据 和 控制 结构 。 
此 外 ， 为 了 结合 知识 表达 的 两 种 技术 一 一 规则 和 框架 的 优势 ， 现 代 基 于 框架 的 专家 系统 会 在 与 
框架 的 信息 进行 交互 时 使 用 规则 。 


5.4 方法 和 守护 程序 


前 面 讨 论 过 ， 框 架 提 供 了 一 种 组 织 知 识 的 结构 化 和 简洁 的 方法 。 但 是 我 们 期 望 专家 系统 能 
成 为 一 个 聪明 的 助手 一 一 不 仅 能 存储 知识 ， 而 且 可 以 验证 和 操纵 这 些 知 识 。 要 在 框架 中 增加 动 
作 ， 需 要 用 到 方法 和 守护 程序 。 

什么 是 方法 和 守护 程序 

方法 是 和 框架 属性 相关 的 过 程 ， 在 必要 时 执行 (Durkin，1994 ) 。 例 如 ， 在 Level5 Object +, 
电子 数据 表 程 序 中 的 方法 用 一 系列 类 似 于 宏 的 命令 来 表示 。 为 某 个 属性 编写 方法 是 为 了 决定 属 
性 值 或 在 属性 值 发 生变 化 时 执行 一 系列 动作 。 

大 多 数 基于 框架 的 专家 系统 有 两 种 方法 : WHEN CHANGED 和 WHEN NEEDED, 

通常 ， 守 护 程序 的 结构 为 下 -THEN。 它 在 守护 程序 下 部 分 的 属性 值 改 变 时 执行 。 在 这 种 情 
况 下 ， 守 护 程序 和 方法 是 很 相似 的 ， 两 个 术语 通常 作为 同义词 。 但 是 ， 需 要 书写 复杂 过 程 时 使 用 
方法 更 加 合适 ， 而 守护 程序 的 使 用 仅 限 于 IF-THEN 语句 中 。 

下 面 分 析 一 下 WHEN CHANGED 方法 。WHEN CHANGED 的 属性 值 发 生变 化 时 立即 执行 。 要 
理解 WHEN CHANGED 如 何 工作 ， 这 里 用 一 个 改编 自 Sterling 和 Shapiro (1994) 的 简单 例子 来 说 
明 。 这 里 使 用 专家 系统 框架 Level5 Object， 因 为 它 提 供 了 大 多 数 基于 框架 的 专家 系统 和 面向 对 象 
的 编程 语言 的 常用 特征 。 

在 评估 小 商业 投资 人 的 贷款 申请 书 时 ， 专 家 系统 应 该 辅助 信贷 员 。 贷 款 申请 书 被 分 为 3 类 : 
“发 放贷 款 ”( Give credit)、“ 拒 绝 贷款 ” (Deny credit) 和 “和 上 级 协商 ” (Consult a superior) , 
具体 如 何 分 类 取决 于 业务 担保 和 金融 等 级 及 银行 对 该 笔 贷 款 的 预期 收益 。 当 信贷 员 为 贷款 预期 
收益 的 级 别 定 性 时 ， 专 家 系统 比较 业务 担保 和 贷款 申请 金额 ， 基 于 业务 资本 净值 、 上 年 销售 增 
长 、 销 售 毛利 和 销售 短期 债务 评估 金融 等 级 ， 最 后 确定 该 贷款 申请 书 的 类 别 。 

期 望 专家 系统 能 够 提供 商业 投资 的 细节 WARP RR) 选择 的 业务 的 贷款 申请 。 
图 5. 7 表示 申请 选择 的 输入 显示 。 专 家 系统 基于 所 选 的 业务 ， 改 变 显示 的 数据 。 

图 5. 8 所 示 的 Action Data 类 用 来 控制 输入 的 显示 。 用 户 可 以 移动 到 列表 中 的 后 一 个 、 前 一 
个 、 第 一 个 和 最 后 一 个 申请 并 检查 业务 数据 。 这 里 WHEN CHANGED 方法 允许 我 们 查看 申请 列 
表 审 批 贷款 。 注 意 ， 图 5. 8 中 的 所 有 属性 都 声明 为 简单 的 LS] ， 简 单 属性 可 以 假设 值 为 TRUE 或 
FALSE。 下 面 分 析 属 性 Goto Next 中 的 WHEN CHANGED 方法 。 

这 种 方法 如 何 工作 

在 Levels Object 中 ， 任 何方 法 都 从 保留 字 WHEN CHANGED 或 WHEN NEEDED 开始 ， 后 面 
紧 跟 着 保留 字 BEGIN 和 要 执行 的 一 系列 命令 ， 保 留 字 END 表示 方法 结束 。 要 引用 方法 中 的 某 个 
属性 ， 必 须 指 定 类 名 和 属性 名 ， 语 法 为 : 


«attribute name» OF «class name» 


例如 ， 语 句 Goto Next OF Action Data 引用 Action Data 类 的 Goto Next 属性 。 
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Requested credit 50000 











| or ] 
| | | 
| Currency deposits 50000 | 
| Stocks 9000 | 
| | Mortgages 12000 | 
| | Net worth to assets 40 | 
i Last year's sales growth 20 | 
| | Growth profit on sales 45 | 
| | Short-term debt to sales 9 | 
| Excellent | 





Expected yield 








v The Credit Evaluation Advisor 








has determined the category of 
the credit request as 





| Collateral 
| 


| Financial rating 








Excellent 
Good 





Rs 








| 
| 
| 
i 
| 
| 
Miss 
| 
i 
| 
| 


CLASS: Action Data 
[S] Goto Next: [WHEN CHANGED] 


[S] Goto Previous: [WHEN CHANGED] 


[S] Goto First: [WHEN CHANGED] 


[S] Goto Last: [WHEN CHANGED] 


INSTANCE: Action Data1. 
CLASS: Action Data 
[S] Goto Next: TRUE 


[S] Goto Previous: UNDETERMINED 


[S] Goto First: UNDETERMINED 


[S] Goto Last: UNDETERMINED 








图 5.7 申请 选择 的 输入 显示 


WHEN CHANGED 
BEGIN 
Current Request Number:= Request Number OF Request 
FIND Request 
LIMIT 1 
WHERE Request Number OF Request » Current Request Number 
FIND END 
END 





WHEN CHANGED 
BEGIN 
Target Request Number:= Request Number OF Request ~ 1 
IF Target Request Number » O THEN 
BEGIN 
FIND Request 
LIMIT 1 
WHERE Request Number OF Request = Target Request Number 
FIND END 
END 
END 





WHEN CHANGED 
BEGIN 
FIND Request 
LIMIT 1 
FIND END 
END 


WHEN CHANGED 
BEGIN 
Target Request Number:- Total Number of Requests 
FIND Request 
LIMIT 1 
WHERE Request Number OF Request - Target Request Number 
FIND END 
END 





Æ 5.8 Action Data 类 和 WHEN CHANGED 方法 
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输入 显示 中 的 按钮 Next 隶属 于 Action Data 类 的 属性 Goto Next。 若 运行 时 选择 了 该 按钮 ， 属 
性 Goto Next 获得 值 TRUE ， 激 发 了 附加 在 该 属性 上 的 WHEN CHANGED 方法 使 其 执行 。 该 方法 的 
第 一 个 命令 将 当前 选择 的 Request 类 的 实例 的 编号 赋予 用 作 参 考点 的 Current Request Number 属性 。 
命令 FIND 使 用 存储 在 Current Request Number 中 的 编号 确定 列表 中 的 下 一 个 申请 。LIMIT 1 命令 告 
Vf Level5 Object 寻找 第 一 个 和 搜索 条 件 匹 配 的 实例 。 通 过 WHERE FAJ 
WHERE Request Number OF Request > Current Request Number 
确定 号 码 大 于 Current Request Number 的 值 的 Request 类 的 实例 。 申 请 表 按 升序 来 排列 ， 确 保 可 以 搜 
143 索 到 正确 的 实例 。 例 如 ， 如 果 当 前 实例 号 码 为 6， 则 FIND 命令 会 找到 号 码 为 7 的 实例 。 
144 现在 分 析 图 5. 9 中 的 Request 类 和 实例 。 实 例 Request 1 和 Request 2 有 着 与 Request 类 相同 的 


em omreareo rene | 
IN] 
N] 










IN] 
N] 













Gross profits on sales: 
[ Shortterm debt to sales: 


[C] Expected yield: 
Excellent: 
Reasonable: 
Poor: 


[N] X Request Number: 


INSTANCE: Request 1 INSTANCE: Request 2 
CLASS: Request 


CLASS: Request 
[Str] Applicant's name: Mrs White, J. [Su] Applicant's name: Mr Black, N. 
{Str] Application no.: CNO01-98 - 


[Str] Application no. CNOO2-98 


[N] Requested credit: 75000 







































[IN] Requested credit: 50000 
[N] Currency deposits: 50000 [N] Currency deposits 45000 
[N] Stocks: 9000 [N] Stocks: 10000 






[C] Expected yield: 
Excellent: FALSE 
Reasonable: TRUE 
Poor: FALSE 


[N] Request Number: 2 


Fd 5.9 Request 类 及 其 实例 


IN] Mortgages: 12000 
[N] Net worth to assets: 40 


[N] Last year's sales growth: 20 











[N] Gross profits on sales: 45 













[N] Short-term debt to sales: 9 
[C] 







Expected yield: 
Excellent: TRUE 
Reasonable: FALSE 
Poor: FALSE 






[N] Request Number: 1 
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属性 。 但 每 个 实例 的 属性 值 不 同 。 为 了 在 输入 显示 中 显示 属性 的 取 值 ， 需 要 创建 取 值 框 〈 显 示 
数据 的 项 ) ， 并 将 取 值 框 绑 定 在 对 应 的 属性 上 。 运 行 该 应 用 程序 时 ， 取 值 框 显示 Request 类 当前 所 
选 Request 类 的 实例 属性 值 ， 并 且 WHEN CHANGED 方法 激发 相应 的 动作 。 

什么 时 候 使 用 WHEN NEEDED 方法 

在 很 多 应 用 程序 中 ， 属 性 有 初始 值 或 默认 值 。 但 是 ， 在 有 些 应 用 程序 中 ，WHEN NEEDED 
方法 仅 在 需要 时 才 用 于 获得 属性 值 。 换 句 话说， 只 有 需要 使 用 与 某 个 属性 相关 的 信息 来 解决 问 
题 时 才 执 行 WHEN NEEDED 方法 ,但 属性 值 是 不 确定 的 。 在 后 面 讨论 信用 评估 的 规则 的 例子 时 
会 再 探讨 这 种 方法 。 


5.5 框架 和 规则 的 交互 


大 多 数 基 于 框架 的 专家 系统 允许 用 一 系列 的 规则 来 评估 框架 中 的 信息 。 

基于 规则 的 专家 系统 中 使 用 的 规则 和 基于 框架 的 专家 系统 中 使 用 的 规则 有 什么 不 同 

每 个 规则 都 具有 IF-THEN 的 结构 ， 同 时 每 个 规则 将 在 其 IF 部 分 提供 相关 的 信息 或 事实 与 
THEN 部 分 的 某 些 动作 相关 联 。 在 这 种 情况 下 ， 基 于 规则 的 专家 系统 中 的 规则 和 基于 框架 的 专家 
系统 中 的 规则 没有 什么 不 同 。 但 在 基于 框架 的 专家 系统 中 ， 规 则 通常 使 用 模式 匹配 子 句 。 这 些 子 
名 包含 用 于 在 所 有 实例 框架 中 找到 匹配 条 件 的 变量 。 

在 基于 框架 的 专家 系统 中 推理 引擎 如 何 工作 ? 是 什么 激发 了 规则 

再 次 比较 一 下 基于 规则 和 基于 框架 的 专家 系统 。 在 基于 规则 的 专家 系统 中 ， 推 理 引 擎 将 包 
含 在 知识 库 中 的 规则 和 数据 库 中 给 定 的 数据 链接 起 来 。 如 果 目 标 已 经 设置 ， 或 者 换 句 话说 ， 当 专 
家 系统 收 到 指令 去 确定 某 个 具体 对 象 的 取 值 时 ， 推 理 引 擎 搜索 知识 库 ， 寻 找 在 后 项 (THEN 部 
分 ) 中 含有 目标 的 规则 。 如 果 找 到 这 样 的 规则 ， 其 前 项 〈 正 部分) 和 数据 库 中 的 数据 能 够 匹配 ， 
则 激发 该 规则 ， 同 时 指定 的 对 象 ( 即 目标 ) 获得 取 值 。 如 果 没 有 找到 得 到 能 用 于 目标 的 值 的 规 
则 ， 系 统 就 向 用 户 询问 ， 要 求 用 户 提 供 该 值 。 

在 基于 框架 的 专家 系统 中 ， 推 理 引 擎 也 会 为 目标 或 者 指定 的 属性 进行 搜索 ， 直 到 得 到 属性 
的 值 为 止 。 

在 基于 规则 的 专家 系统 中 ， 目 标 为 规则 库 而 定义 的 。 在 基于 框架 的 系统 中 ， 规 则 只 是 辅助 的 
角色 ， 框 架 是 知识 的 主要 来 源 ， 方 法 和 守护 程序 都 是 为 了 在 框架 中 增加 动作 。 因 此 ， 可 以 预期 ， 
基于 框架 的 系统 的 目标 可 以 在 方法 中 建立 也 可 以 在 守护 程序 中 建立 。 现 在 我 们 回 到 信用 评估 的 
例子 中 。 

假设 需要 评估 用 户 选择 的 贷款 申请 书 。 当 用 户 按 下 输入 显示 界面 上 的 Evaluate Credit 按钮 后 ， 
专家 系统 就 应 开始 评估 。 该 按钮 附属 于 如 图 5. 10 所 示 的 Credit Evaluation 类 的 Evaluate Credit 属 
PE, il Evaluate Credit 属性 有 附属 的 WHEN CHANGED 方法 。 当 运行 时 按 下 了 Evaluate Credit 按 
钮 ， 属性 Evaluate Credit 接收 到 新 值 TRUE。 这 个 改变 激发 了 WHEN CHANGED 方法 进行 执行 。 
PURSUE 命令 告诉 Level5 Object 建立 Credit Evaluation 类 的 属性 Evaluation 的 值 。 图 5. 11 显示 了 确 
定 属性 值 的 一 系列 简单 规则 。 

ESA, PES Rema Ley 

对 于 目标 Evaluation OF Credit Evaluation ， 推 理 引 擎 找到 后 项 包含 搜索 所 需 的 目标 规则 ， 并 按 
照 其 在 规则 库 出 现 的 顺序 逐个 进行 分 析 。 也 就 是 说 ， 推 理 引擎 从 RULE 9 开始 ， 试 图 证 实 属性 
Evaluation 是 否 接 收 到 Give credit 的 值 。 这 可 以 通过 分 析 每 条 规则 前 项 的 有 效 性 来 实现 。 换 句 话 
说 ， 推 理 引擎 尝试 首先 确定 属性 Collateral 的 值 是 否 为 Excellent， 其 次 确定 属性 Financial rating 的 
值 是 否 为 Excellent。 要 确定 Collateral OF Credit Evaluation 的 值 是 否 为 Excellent， 推 理 引 擎 分 析 
RULE 1 和 RULE 2 并 确定 Financial rating OF Credit Evaluation 是 否 为 Excellent， 如 RULE 8 所 示 。 
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WHEN CHANGED 
BEGIN 

PURSUE Evaluation OF Credit Evaluation 
END 


CLASS: Credit Evaluation 


[S] Evaluate Credit: [WHEN CHANGED} 










[C] Collateral: 
Excellent: 






[C] Financial rating: 
Excellent: 
Good: 

Medium: 

Bad: 


[C] Evaluation: 
Give credit: 
Deny credit: 
Consult a superior: 













[WHEN NEEDED] 






WHEN NEEDED 
BEGIN 
Evaluation OF Credit Evaluation IS Consult 
superior:z TRUE 

END 















Kd 5.10 Credit Evaluation 2, WHEN CHANGED 和 WHEN NEEDED 方法 


RULE 1 
iF Currency deposits OF Request >= Requested credit OF Request 
THEN Collateral OF Credit Evaluation IS Excellent 


RULE 2 

IF Currency deposits OF Request >= Requested credit OF Request * 0.7 

AND (Currency deposits OF Request + Stocks OF Request) >= Requested credit OF Request 
THEN Collateral OF Credit Evaluation IS Excellent 


RULE 3 

IF (Currency deposits OF Request 4 Stocks OF Request) » Requested credit OF Request * 0.6 
AND (Currency deposits OF Request -- Stocks OF Request) « Requested credit OF Request * 0.7 
AND (Currency deposits OF Request + Stocks OF Request + Mortgages OF Request) >= Requested 
credit OF Request 

THEN Collateral OF Credit Evaluation IS Good 


RULE 4 

IF (Currency deposits OF Request + Stocks OF Request + Mortgages OF Request) <= Requested credit 
OF Request 

THEN Collateral OF Credit Evaluation IS Moderate 

RULE 5 

IF Net worth to assets OF Request * 5 + Last year's sales growth OF Request + Gross profits on sales OF 
Request * 5 + Short term debt to sales OF Request * 2 <= -500 

THEN Financial rating OF Credit Evaluation IS Bad 


RULE 6 
IF Net worth to assets OF Request * 5 + Last year's sales growth OF Request + Gross Profits on sales OF 


Request * 5 + Short term debt to sales OF Request * 2 >= -500 
AND Net worth to assets OF Request * 5 + Last year's sales growth OF Request + Gross profits on sales 


OF Request * 5 + Short term debt to sales OF Request * 2 <= 150 


THEN Financial rating OF Credit Evaluation IS Medium 


RULE 7 

IF Net worth to assets OF Request * 5 + Last year's sales growth OF Request + Gross Profits on sales OF 
Request * 5 + Short term debt to sales OF Request * 2 >= 150 

AND Net worth to assets OF Request * 5 + Last year's sales growth OF Request + Gross profits on sales 

OF Request * 5 + Short term debt to sales OF Request + 2 <= 1000 

THEN Financial rating OF Credit Evaluation IS Good 

RULE 8 

IF Net worth to assets OF Request * 5 4 Last year's sales growth OF Request 4 Gross Profits on sales OF 
Request * 5 + Short term debt to sales OF Request * 2 > 1000 

THEN Financial rating OF Credit Evaluation IS Excellent 


RULE 9 

IF Collateral OF Credit Evaluation IS Excellent 

AND Financial rating OF Credit Evaluation IS Excellent 
THEN Evaluation OF Credit Evaluation IS Give Credit 


RULE 10 

IF Collateral OF Credit Evaluation IS Excellent 

AND Financial rating OF Credit Evaluation IS Good 
THEN Evaluation OF Credit Evaluation IS Give Credit 


RULE 11 

IF Collateral OF Credit Evaluation iS Moderate 

AND Financial rating OF Credit Evaluation IS Medium 
THEN Evaluation OF Credit Evaluation IS Deny Credit 


RULE 12 

IF Collateral OF Credit Evaluation IS Moderate 

AND Financial rating OF Credit Evaluation IS Bad 
THEN Evaluation OF Credit Evaluation IS Deny Credit 


5. 11 信用 评估 的 规则 
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如 果 所 有 的 规则 前 项 都 有 效 ， 则 推理 引擎 得 到 结论 :Evaluation OF Credit Evaluation 是 Give credit, 
但 是 ， 如 果 前 项 的 任何 部 分 是 无 效 的 ， 那 么 该 结论 就 是 无 效 的 。 在 这 种 情况 下 ， 推 理 引 擎 会 执行 
下 一 个 规则 RULE 10， 它 可 以 确定 属性 Evaluation 的 取 值 。 

如 果 Collateral OF Credit Evaluation 是 Good 怎么 办 

基于 信用 评估 的 一 系列 规则 ， 推 理 引擎 在 有 些 情况 下 不 能 确定 属性 Evaluation 的 值 。 在 业务 
担保 取 值 为 Cood， 同 时 业务 的 金融 等 级 为 Excellent 或 者 Good 时 就 会 出 现 这 种 情况 。 实 际 上 ， 如 
果 看 一 下 图 5. 10 就 会 发 现 ， 这 种 情况 在 规则 库 中 没有 体现 。 但 是 也 不 能 完全 依赖 于 一 系列 规则 ， 
可 以 使 用 WHEN NEEDED 方法 来 确定 属性 的 取 值 。 

图 5. 10 所 示 的 WHEN NEEDED 方法 附加 在 属性 Evaluation 上 。 当 推理 引擎 需要 确定 Evalua- 
tion 的 取 值 时 执行 该 方法 。 当 WHEN NEEDED 方法 执行 时 ， 属 性 Evaluation 得 到 值 Consult a 
superior, 

推理 引擎 如 何 得 知 在 哪里 、 按 照 什 么 顺序 来 获取 属性 的 值 

在 本 例 中 ， 如 果 首 先 执行 WHEN NEEDED 方法 ， 则 属性 Evaluation 总 是 获得 值 Consult a su- 
perior， 同 时 不 会 激发 任何 规则 。 因 此 ， 推 理 引擎 仅 在 无 法 从 规则 库 中 得 到 属性 值 时 才 使 用 
WHEN NEEDED 方法 。 换 名 话说， 要 首先 确定 属性 值 的 搜索 顺序 。 例 如 ， 可 以 通过 附加 在 属性 
上 的 SEARCH ORDER 实现 ， 该 属性 告知 推理 引擎 哪里 、 以 何 顺 序 获 得 属性 的 值 。 

在 Level5 Object 中 ， 每 个 属性 都 可 以 指定 搜索 顺序 ， 在 评估 信用 的 例子 中 ， 为 Evaluation W 
值 设 置 的 搜索 顺序 是 RULES、WHEN NEEDED。 因 此 推理 引擎 会 先 从 规则 库 中 开始 搜索 。 


5.6 基于 框架 的 专家 系统 实例 : Buy Smart 


本 节 展示 了 一 个 简单 的 专家 系统 的 例子 来 说 明 上 面 的 讨论 内 容 。 这 个 基于 框架 的 专家 系统 
名 为 Buy Smart， 用 于 为 购房 者 提供 建议 。 

我 们 将 回顾 开发 基于 框架 的 专家 系统 的 主要 步骤 ， 并 展示 如 何 通过 方法 和 守护 程序 来 使 用 
框架 。 实 例 中 使 用 了 专家 系统 框架 Level5 Object, 

开发 基于 规则 的 专家 系统 和 基于 框架 的 专家 系统 的 主要 步骤 有 什么 不 同 吗 

开发 这 两 种 系统 的 主要 步 又 基本 相同 。 首 先 ， 知 识 工程 师 要 大 致 理解 问题 和 完整 的 知识 结 
构 ， 接 着 确定 使 用 什么 样 的 专家 系统 工具 来 开发 原型 系统 。 然 后 知识 工程 师 创建 知识 库 ， 通 过 运 
行 一 些 测试 问题 来 测试 知识 库 。 最 后 ， 扩 展 、 测 试 和 修正 专家 系统 ， 直 到 它 能 够 满足 用 户 的 需要 
为 止 。 

设计 基于 规则 的 专家 系统 和 基于 框架 的 专家 系统 的 主要 区 别 是 在 系统 中 如 何 理 解 和 表达 
知识 。 

在 基于 规则 的 专家 系统 中 ， 用 一 系列 的 规则 来 表达 解决 问题 需要 的 领域 知识 。 每 个 规则 都 
获得 问题 的 某 些 启发 式 方法 ， 同 时 每 次 加 入 新 的 规则 都 会 增加 新 的 知识 ， 系 统 由 此 变 得 更 加 聪 
明 。 基 于 规则 的 专家 系统 可 以 通过 改变 、 增 加 或 减少 规则 来 轻松 地 加 以 修改 。 

在 基于 框架 的 专家 系统 中 ， 问 题 是 按照 不 同 的 方式 分 析 的 。 这 里 ， 首 先 确定 知识 的 完整 的 分 
层 框架 。 然 后 确定 类 及 其 属性 ， 同 时 各 层 框 架 之 间 的 关系 也 要 确定 下 来 。 基 于 框架 的 专家 系统 的 
体系 结构 不 仅 要 提供 问题 的 自然 描述 ， 也 要 允许 通过 方法 和 守护 程序 为 框架 增加 动作 。 

基于 框架 的 专家 系统 的 开发 过 程 主要 包含 下 面 几 个 步 又 : 

1) 指定 问题 并 定义 系统 的 范围 。 

2) 定义 类 及 属性 。 

3) 定义 实例 。 

4) 设计 显示 。 
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5) 定义 WHEN CHANGED 和 WHEN NEEDED 方法 及 守护 程序 。 

6) 定义 规则 。 

7) 评价 并 扩展 系统 。 

步骤 1: 指定 问题 并 定义 系统 的 范围 。 

在 Buy Smart 的 例子 中 ， 先 收集 本 地 区 的 一 些 代 售 房地产 的 信息 。 要 确定 相关 的 细节 ， 例 如 房 
产 类 型 、 位 置 、 卧 室 和 浴室 的 数量 ， 当 然 还 有 价格 。 应 该 提供 关于 房产 的 简短 描述 和 精美 照片 。 

可 以 预料 有 些 房产 会 售 出 ， 新 的 房 源 会 出 现 。 因 此 ， 要 建立 易于 修改 并 能 从 专家 系统 访问 的 
数据 库 。Level5 Object 允许 访问 、 修 改 、 删 除数 据 库 dBASE 正中 的 数据 ， 并 执行 一 些 其 他 动作 。 

可 以 在 数据 库 中 存储 房产 的 描述 和 照片 凤 

房产 的 描述 和 照片 应 该 分 开 存 储 ， 描 述 应 存储 为 文本 文件 〈* . txt)， 照 片 存储 为 位 图 文件 
( * bmp) 。 接 下 来 如 果 建 立 包含 文本 框 和 图 片 框 的 显示 界面 ， 就 需要 通过 将 文本 文件 读 取 到 文本 
框 中 ， 将 位 图 文件 读 取 到 图 片 框 中 来 让 用 户 查 看 房产 描述 和 照片 。 

现在 使 用 dBASE Ma Microsoft Excel 建立 外 部 数据 库 文件 house. dbf, 4032 5.1 所 示 。 


表 5.1 数据 库 house. dbf 的 属性 











区 域 城市 价格 类 型 卧室 
Central Suburbs New Town 164 000 House 3 
Central Suburbs Taroona 150 000 House 3 

Southern Suburbs Kingston 225 000 Townhouse 4 
Central Suburbs North Hobart 127 000 House 3 
Northern Suburbs West Moonah 89 500 Unit 2 
Central Suburbs Taroona 110 000 House 3 
Central Suburbs Lenah Valley 145 000 House 3 
Eastem Shore Old Beach 79 500 Unit 2 
Central Suburbs South Hobart 140 000 House 3 
Central Suburbs South Hobart 115 000 House 3 
Eastern Shore Cambridge 94 500 Unit 2 
Northern Suburbs Glenorchy 228 000 Townhouse 4 

浴室 结构 电话 图 片 文件 文本 文件 

1 Weatherboard (03) 6226 4212 house01. bmp house 1. txt 

1 Brick (03) 6226 1416 house02. bmp house02. txt 

2 Brick (02) 6229 4200 house03. bmp house 3 txt 

1 Brick (03) 6226 8620 house04. bmp house04. txt 

1 Weatherboard (03) 6225 4666 house05. bmp house05. txt 

1 Brick (03) 6229 5316 house06. bmp house06. txt 

1 Brick (03) 6278 2317 house07. bmp ` house07. txt 

1 Brick (03) 6249 7298 house08. bmp house08. txt 

1 Brick (03) 6228 5460 house09. bmp house09. txt 

1 Brick (03) 6227 8937 housel0. bmp housel 0. txt 

1 Brick (03) 6248 1459 housel 1. bmp housel 1. txt 

2 Weatherboard (03) 6271 6347 housel2. bmp housel2. txt 
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接 下 来 就 要 列 出 能 够 想到 的 所 有 查询 : 

e 你 想 在 房产 上 最 多 花 多 少 钱 ? 

e 你 最 喜欢 什么 类 型 的 房产 ? 

e 你 最 喜欢 生活 在 哪个 地 区 ? 

e 你 想 要 几 个 卧室 ? 

e 你 想 要 几 个 浴室 ? 

这 些 问题 确定 后 ， 专 家 系统 就 要 提供 一 系列 合适 的 房 源 。 

SES: 定义 类 及 其 属性 。 

这 里 要 确定 解决 问题 的 主要 类 。 首 先 从 通用 的 或 概念 上 的 类 开始 。 例 如 ， 分 析 房 产 的 概念 并 描 
述 对 大 多 数 房产 都 适合 的 通用 特征 。 可 以 通过 位 置 (Area) 、 价 格 (Price) 、 类 型 (Type) 、 卧 室 
(Bedroom) 和 浴室 (Bathroom) 的 数量 、 结 构 (Construction), Él (Pictfle) 和 描述 《Text- 
file) 等 特点 来 介绍 每 一 个 房 源 。 还 需要 列 出 详细 的 联系 方法 ， 例 如 房子 的 地 址 (Address) 或 电 
话 号 码 (Phone), BE, Property 类 如 图 5. 12 所 示 。 注 意 ， 图 中 增加 了 实例 号 (Instance Number) 
属性 ， 这 个 属性 不 是 用 来 描述 房产 的 ， 而 是 辅助 Level5 Object 访问 外 部 数据 库 的 。 


[IM Price: 0 | 
Jie. 
Tie: 




























[Str] Pictfile: 
[Str] Textfile 
[N] Instance Number: 


SW Sar mew Town 
M Bemons 3 
M Bathrooms: i 
[Str] Construction: Brick 


[Str] Phone: (03) 6226 4212 [Str] Phone: (03) 6226 1416 
[Str] Pictfile: houseO1.bmp [Str] Pictfile: house02.bmp 


[Str] Textfile: houseO1.txt [Str] Textfile: houseO2.txt 
[N] instance Number: 1 [IN] instance Number: 2 


图 5.12 Property 类 及 其 实例 
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步骤 3: 定义 实例 。 
一 旦 确定 了 Property 类 框架 ， 就 可 以 很 容易 地 通过 使 用 存储 在 dBASE 下 数据 库 中 的 数据 创建 
152 它 的 实例 。 对 于 大 多 数 类 似 于 LevelS Object 的 基于 框架 的 专家 系统 而 言 ， 需 要 告诉 系统 我 们 想 要 
创建 一 个 新 实例 。 例 如 ， 可 以 使 用 下 面 的 代码 来 创建 Property 类 的 新 实例 : 


MAKE Property 
WITH Area := area OF dB3 HOUSE 1 
WITH Suburb :- suburb OF dB3 HOUSE 1 
WITH Price ;= price OF dB3 HOUSE 1 
WITH Type := type OF dB3 HOUSE 1 
WITH Bedrooms := bedrooms OF dB3 HOUSE 1 
WITH Bathrooms := bathrooms OF dB3 HOUSE 1 
WITH Construction :- construct OF dB3 HOUSE 1 
WITH Phone := phone OF dB3 HOUSE 1 
WITH Pictfile := pictfile OF dB3 HOUSE 1 
WITH Textfile := textfile OF dB3 HOUSE 1 
WITH Instance Number := Current Instance Number 


这 里 ， 类 dB3 HOUSE 1 用 来 描述 外 部 数据 库 文件 house. dbf 的 结构 。 如 表 5. 1 所 示 ， 房 产 数 
据 库 的 每 一 行 表示 Property 类 的 一 个 实例 ， 每 一 列表 示 一 个 属性 。 新 创建 的 实例 框架 从 数据 库 的 
当前 记录 获取 值 。 图 5. 12 显示 了 从 外 部 数据 库 创建 的 实例 。 这 些 实例 链接 到 Property 类 中 , € 
们 继承 该 类 的 所 有 属性 。 

步骤 4: 设计 显示 。 

一 旦 确定 了 主要 的 类 和 属性 ， 就 可 以 为 应 用 程序 设计 主要 的 界面 了 。 需 要 在 每 个 应 用 开始 
时 给 出 应 用 程序 标题 显示 (Application Title Display) ， 告 诉 用 户 一 些 通用 的 信息 。 显 示 界 面 可 以 
包含 应 用 程序 标题 、 问 题 的 通用 描述 、 有 代表 性 的 图 片 和 版 权 信息 。 图 5. 13 为 应 用 程序 标题 显 
示 的 例子 。 


| w Buy Smart 










Buy Smart 












Buying any property ~ especially your first ~ is very exciting, but it is 
often a little nerve-racking as well. It is important you take the time 
to do your home work properly. This expert system will assist you in 
choosing a home to meet your particular requirements. 








图 5.13 应用 程序 标题 显示 
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可 以 想到 的 第 二 个 显示 界面 是 查询 显示 (Query Display) 。 这 个 界面 应 该 允许 用 户 通过 回答 
专家 系统 提出 的 问题 表明 我 们 的 要 求 。 查 询 显 示 看 上 去 如 图 5. 14 所 示 。 在 这 里 ， 要 求 用 户 选择 
it (b) 在 寻找 房产 时 最 重要 的 要 求 。 基 于 这 些 选择 ， 专 家 系统 接 下 来 可 以 给 出 合适 的 房产 的 
完整 列表 。 

最 后 应 该 设计 房产 信息 显示 (Property Information Display) 界面 。 该 显示 界面 可 以 提供 一 系 
列 适 合 的 房产 ， 并 可 以 移 到 列表 中 的 后 一 个 、 前 一 个 、 第 一 个 和 最 后 一 个 房产 ， 还 能 够 看 到 房产 
的 图 片 和 描述 。 该 界面 如 图 5. 15 所 示 。 注 意 ， 要 在 显示 界面 中 包含 文本 框 和 图 片 框 。 
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Select the most important things you are looking for in your property. 


Maximum Price 
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Search: List of Properties 


M properties found 


"e ， 


Individual Property 


| Construction: Weatherboard | 








| MODERNISED WITH ARCHITECT'S FLAIR | 





| Number of bedrooms: 3 


| yet retaining the original charm. Three ' | Number of bathrooms: 1 | 
| large bedrooms. Formal dining warmed by | | 
[03] 6226 4212 ; 


| a wood heater, family room next to an | ; Telephone: 
| impressive kitchen and overlooking lavish | UE 

| gardens. A sparkling bathroom and 
| large laundry. Convenient location, garage | 
; | and parkin 









图 5.15 房产 信息 显示 


如 何 将 这 些 显示 链接 起 来 
Level Object 允许 我 们 通过 在 应 用 程序 标题 显示 界面 上 放置 Continue 按钮 将 其 链接 到 查询 显 
示 界 面 上 ， 并 在 查询 显示 界面 上 放置 Search 按钮 将 其 链接 到 房产 信息 显示 界面 。 在 运行 应 用 程 


[155] 
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序 时 ， 单 击 Continue 或 Search 按钮 就 会 出 现 新 的 显示 界面 。 

现在 我 们 来 实现 这 些 显示 界面 。 

36985. 定义 WHEN CHANGED 和 WHEN NEEDED 方法 及 守护 程序 。 

到 目前 为 止 ， 已 经 创建 了 主要 的 类 和 相关 属性 ， 也 确定 了 类 实例 ， 建 立 了 从 外 部 数据 库 中 创 
建 实例 的 机 制 ， 最 后 设计 了 为 客户 显示 信息 的 静态 界面 。 接 下 来 必须 研究 一 种 方法 来 实现 这 个 
应 用 程序 。 有 两 种 方式 可 以 实现 这 个 任务 ， 第 一 个 方式 是 使 用 WHEN CHANGED 和 WHEN 
NEEDED 方法 及 守护 程序 ; 第 二 个 方式 则 与 模式 匹配 规则 有 关 。 在 基于 框架 的 系统 中 ， 通 常 首先 
考虑 方法 和 守护 程序 的 应 用 。 

现在 要 确定 的 是 什么 时 候 创建 Property 类 的 实例 。 有 两 个 解决 方案 。 第 一 个 方案 是 当 用 户 单 
击 应 用 程序 标题 显示 界面 的 Continue 按钮 时 ， 创 建 所 有 的 实例 ， 然 后 再 根据 用 户 的 喜好 ( 当 用 户 
选择 查询 显示 页 面 上 的 按钮 时 ) ， 一 步 步 删 除 用户 不 合适 的 实例 。 . 

第 二 个 方法 是 用 户 在 查询 显示 页 面 上 完成 所 有 的 选择 后 ， 仅 创建 相关 的 实例 。 这 种 方法 说 
明了 去 除 Property 类 中 不 合适 的 实例 的 必要 性 ， 但 可 能 会 增加 系统 设计 的 复杂 性 。 

在 本 设计 中 ， 推 荐 使 用 第 一 种 方法 。 该 方法 会 给 我 们 提供 使 用 守护 程序 而 非 规则 的 机 会 。 不 
过 也 可 以 使 用 其 他 方法 。 

现在 创建 另 一 个 类 Action Data, W Él] 5.16 Bi zm. Load Properties 属性 附加 了 WHEN 
CHANGED 方法 ， 人 允许 创建 Property 类 的 所 有 实例 。 


CLASS: Action Data 
[S] Load Properties : (WHEN CHANGED] 


INSTANCE: Action Data 1 
CLASS: Action Data 
[S] Load Properties: TRUE 

















WHEN CHANGED 
BEGIN 
Current Instance Number:= 0 
FORGET Property 
FIND dB3 HOUSE 1 
WHEN FOUND . 
Current instance Number:= Current Instance Number + 1 
MAKE Property 
WITH Area:= area OF dB3 HOUSE 1 



















WITH Suburb:= suburb OF dB3 HOUSE 1 
WITH Price:= price OF dB3 HOUSE 1 
WITH Type:= type OF dB3 HOUSE 1 
WITH Bedrooms:= bedrooms OF dB3 HOUSE 1 
WITH Bathrooms:= bathrooms OF dB3 HOUSE 1 
WITH Construction:= construct OF dB3 HOUSE 1 
WITH Phone:= phone OF dB3 HOUSE 1 
WITH pictfile:= pictfile OF dB3 HOUSE 1 
WITH Textfile:= textfile OF dB3 HOUSE 1 
WITH Instance Number:= Current Instance Number 
FIND END 
Total Number of instances:= Current Instance Number 
Goto First Property OF Action Data:= TRUE 
END 
















图 5.16 Load Properties 属性 的 WHEN CHANGED 方法 


如 何 使 用 这 种 方法 

为 了 让 这 种 方法 工作 ， 应 将 应 用 程序 标题 显示 界面 的 Continue 按钮 和 Load Properties 属 
性 链接 起 来 。 当 运行 时 按 下 这 个 按钮 时 ，Load Properties 属性 获取 值 TRUE, 导致 WHEN 
CHANGED 方法 执行 ， 并 创建 Property 类 的 所 有 实例 。 创 建 的 实例 数量 和 外 部 数据 库 中 记录 
的 数量 相等 。 

接 下 来 出 现 查 询 显 示 界 面 ( 记 住 已 将 应 用 程序 标题 显示 界面 的 Continue 按钮 和 Load Properties 
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属性 链接 起 来 ) ， 用 户 需要 通过 选择 合适 的 按钮 找到 最 合 心意 的 房产 特征 。 本 例 中 ， 每 个 按钮 都 和 
一 个 守护 程序 链接 起 来 ， 去 除 Properties 类 中 不 合适 的 实例 。 一 系列 的 守护 程序 如 图 5. 17 所 示 。 


这 里 的 守护 程序 如 何 工 作 
直到 发 生 了 某 些 事件 ， 守 护 程 序 才 会 执行 。 在 本 例 中 ， 这 意味 着 仅 在 用 户 按 下 相应 按钮 时 才 
激发 守护 程序 。 [156] 


DEMON 1 
IF selected OF Central Suburbs pushbutton 
THEN FIND Property 
WHERE Area OF Property «» "Central Suburbs" 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 


DEMON 2 
IF selected OF Eastern Shore pushbutton 
THEN FIND Property 
WHERE Area OF Property <> "Eastern Shore” 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 


DEMON 5 
iF selected OF House pushbutton 
THEN FIND Property 
WHERE Type OF Property <> “House” 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 


DEMON 9 
IF selected OF One bedroom pushbutton 
THEN FIND Property 
WHERE Bedrooms OF Property <> 1 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 


DEMON 12 
IF selected OF One bathroom pushbutton 
THEN FIND Property 
WHERE Bathrooms OF Property <> 1 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 


DEMON 15 
iF selected OF $50000 pushbutton 
THEN FIND Property 
WHERE Price OF Property > 50000 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 





45.17 查询 显示 界面 的 守护 程序 


例如 ，DEMON 1 和 Central Suburbs 按钮 相关 。 当 用 户 单 击 查询 显示 界面 中 的 Central Suburbs 
按钮 时 ， 激 发 DEMON 1。 然 后 守护 程序 发 出 第 一 个 命令 告诉 Level5 Object 去 寻找 Property 类 。 
WHERE 子 句 
WHERE Area OF Property <> ‘Central Suburbs" 
找到 Property 类 所 有 的 实例 ， 但 这 些 实例 都 和 用 户 的 选择 不 匹配 。 系 统 搜索 属性 Area 的 值 和 Cen- 
tral Suburbs 不 等 的 所 有 的 实例 。 然 后 FORGET CURRENT 命令 从 应 用 程序 中 去 除 Property 类 的 当 
前 实例 。 
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一 旦 选择 了 房产 的 特征 ， 用 户 单 击 查询 显示 界面 中 的 Search 按钮 ， 获 得 具有 这 些 特征 的 房 
产 列表 。 该 列表 显示 在 房产 信息 显示 界面 中 (回忆 一 下 ，Search 按钮 已 经 附加 到 房产 信息 显示 界 
面 里 了 )。 

能 够 看 到 房产 的 图 片 和 描述 四 

首先 再 为 图 5. 18 所 示 的 Action Data 类 创建 两 个 属性 Load Instance Number 和 Goto First Property, 
同时 也 将 查询 显示 页 面 的 Search 按钮 附加 在 属性 Load Instance Number 上 。 当 运行 中 单 击 Search 
按钮 时 ， 属 性 Load Instance Number 会 接收 到 值 TRUE, iA WHEN CHANGED 方法 执行 。 这 种 方 
法 可 以 确定 Property 类 中 实例 的 总 数 。 它 还 将 属性 Coto First Property 的 值 设 为 TRUE， 随 后 激发 
了 其 WHEN CHANGED 方法 执行 。 




















Current Instance Number:= 0 

FIND Property 

WHEN FOUND 
Current Instance Number:- Current Instance Number + 1 
Instance Number OF Property:= Current Instance Number 

FIND END 

Total Number of Instances:- Current Instance Number 

Goto First Property OF Action Data:= TRUE 

END 
















WHEN CHANGED 
BEGIN 
FIND Property 
LIMIT 1 
WHEN FOUND 
filename OF Property picturebox:= Pictfile OF Property 







filename OF Property textbox:= Textfile OF Property 
FIND END 
END 






B] 5.18 属性 Load Instance Number 和 Goto First Property 的 WHEN CHANGED 方法 


将 方法 附加 在 属性 Goto First Property 上 可 以 保证 在 用 户 进入 房产 信息 显示 页 面 时 总 是 处 于 第 
一 处 房产 的 位 置 上 。 它 还 将 Pictfile 属性 的 值 加 载 到 界面 的 图 片 框 ， 并 把 属性 Textfile 的 值 加 载 到 
文本 框 。 因 此 ， 用 户 就 可 以 看 到 房产 的 图 片 和 描述 ， 如 图 5. 15 所 示 。 

步骤 6: 定义 规则 。 

在 设计 基于 框架 的 专家 系统 时 ， 最 重要 和 最 困难 的 决策 是 使 用 规则 还 是 使 用 方法 和 守护 程 
序 进行 管理 。 制 定 这 个 决策 主要 取决 于 设计 者 自己 的 喜好 。 本 例 使 用 方法 和 守护 程序 ， 因 为 这 种 
方法 在 表示 过 程 中 功能 强大 ， 而 且 简单 。 另 一 方面 ， 在 前 面 的 信用 评估 例子 中 ， 已 经 使 用 了 规 
则 。 通 常 ， 规 则 处 理 过 程 性 的 知识 不 是 很 有 效 。 

步骤 7: 评价 并 扩展 系统 。 

现在 已 经 完成 了 Buy Smart 专家 系统 的 最 初 设计 ， 接 下 来 的 任务 就 是 评价 它 。 我 们 要 确保 系 
统 的 性 能 和 预期 一 致 。 换 句 话说， 要 运行 一 个 测试 用 例 。 

1) 通过 单 击 应 用 程序 标题 显示 页 面 的 Continue 按钮 来 开始 测试 。Action Data 类 的 属性 Load 
Propertise 接收 到 值 TRUE ， 执 行 附 加 在 Load Propertise 上 的 方法 WHEN CHANGED, ， 并 创建 Prop- 
erty 类 的 所 有 实例 。 

2) 出 现 查询 界面 ， 用 户 做 出 选择 ， 例 如 : 
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=> Central Suburbs 
DEMON 1 
IF selected OF Central Suburbs pushbutton 
THEN FIND Property 
WHERE Area OF Property <> "Central Suburbs” 
WHEN FOUND 
FORGET CURRENT Property 


FIND END 


=> House 
DEMON 5 
IF selected OF House pushbutton 
THEN FIND Property 

WHERE Type OF Property <> “House” 

WHEN FOUND 

FORGET CURRENT Property 
FIND END 


= Three bedrooms 


DEMON 10 
IF selected OF Three bedroom pushbutton 
THEN FIND Property 
WHERE Bedrooms OF Property <> 3 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 
=> One bathroom 


DEMON 12 
IF selected OF One bathroom pushbutton 
THEN FIND Property 
WHERE Bathrooms OF Property <> 1 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 
=> $ 200,000 
DEMON 18 
IF selected OF $200,000 pushbutton 
THEN FIND Property 
WHERE Price OF Property > 200000 
WHEN FOUND 
FORGET CURRENT Property 
FIND END 


守护 程序 将 不 符合 选择 的 Property 实例 去 除 。 

3) 单 击 Search 按钮 ，4ction Data 类 的 Load Instance Number 属性 获得 取 值 TRUE， 附 加 在 Load 
Instance Number. 上 的 WHEN CHANGED 方法 被 执行 ， 以 确定 Property 类 中 剩余 的 实例 数量 ， 并 设 
定 属性 Goto First Property 的 值 为 TRUE。 然 后 激发 附加 在 Goto First Property 属性 上 的 WHEN 
CHANGED 方法 ， 找 到 第 一 个 Property 实例 ， 指 定 Property Picturebox 的 filename 属性 取 值 为 
house01. bmp, Property textbox 的 filename 属性 取 值 为 house01. xt 《前面 已 在 属性 信息 显示 界面 中 
创建 了 Property Picturebox 和 Property textbox) 。 

4) 出 现 属性 信息 显示 界面 。 如 图 5.15 所 示 ， 可 以 分 析 12 个 满足 要 求 的 房产 。 注 意 ， 我 
们 首先 从 房产 列表 的 第 一 个 房产 开始 ， 房 产 的 图 片 显 示 在 图 片 杠 中， 房产 的 描述 显示 在 文本 
框 中 。 但 是 ， 不 能 通过 界面 中 的 按钮 来 移动 后 一 个 、 前 一 个 、 第 一 个 和 最 后 一 个 。 要 想 实现 
移动 ， 需 要 创建 Action Data 类 的 附加 属性 ， 并 将 WHEN CHANGED 方法 附加 新 建 的 属性 上 面 ， 
如 图 5. 19 所 示 。 

现在 ，Busy Smart 专家 系统 已 经 可 以 进行 扩展 了 ， 可 以 将 新 的 房 源 添加 到 外 部 数据 库 
中 了 。 


108 .第 5 章 基于 框架 的 专家 系统 


















[S] Goto Previous Property: [WHEN CHANGED] 
[S] Goto Last Property: [WHEN CHANGED] 













N 
Current Instance Number:- Instance Number OF Property 
FIND Property 
LIMIT 1 
WHERE 
Instance Number OF Property » Current Instance Number 
WHEN FOUND 
filename OF Property picturebox:= Pictfile OF Property 
















[8] Goto Previous Property: UNDETERMINED 
[S] Goto Last Property: 


filename OF Property textbox:= Textflle OF Property 
FIND END 
END 


WHEN CHANGED 
BEGIN 
Target Instance Number:= Instance Number OF Property ~ 1 
IF Target Instance Number » 0 THEN 
BEGIN 
FIND Property 
LIMIT 1 
WHERE 
Instance Number OF Property - Target instance Number 
WHEN FOUND 
filename OF Property picturebox:= Pictfile OF Property 
filename OF Property textbox:- Textfile OF Property 

FIND END 

END 

END 









UNDETERMINED 


WHEN CHANGED 
BEGIN 
Target Instance Number:= Total Number of Instances 
FIND Property 
LIMIT 1 
WHERE 
instance Number OF Property = Target Instance Number 
WHEN FOUND 
filename OF Property picturebox:- Pictfile OF Property 
filename OF Property textbox:~ Textflle OF Property 
FIND END 
END 


Fd 5.19 属性 Goto Next Property, Goto Previous Property 和 Goto Last Property 的 
WHEN CHANGED 方法 


5.7 mg 


本 章 概要 描述 了 基于 框架 的 专家 系统 。 我 们 介绍 了 框架 的 概念 ， 讨 论 了 如 何 用 框架 来 表达 
知识 ， 并 且 发 现 基 于 框架 的 专家 系统 的 本 质 是 继承 。 本 章 分 析 了 方法 、 守 护 程序 和 规则 的 应 用 。 
最 后 通过 例子 来 说 明 如 何 开 发 基于 框架 的 专家 系统 。 

本 章 的 主要 内 容 有 : 

e 框架 是 带 有 关于 某 个 对 象 或 概念 的 典型 知识 的 数据 结构 。 

e 框架 用 于 在 基于 框架 的 系统 中 表达 知识 。 框 架 包 含 给 定 对 象 的 知识 ， 其 中 包含 名 称 和 属 
TE ERR) WER. name. weight, height 和 age 都 是 Person 框架 的 属性 ，model、 
processor, memory 和 price 是 Computer 框架 的 属性 。 

e 属性 用 来 保存 值 。 属 性 可 以 包含 默认 值 或 指向 其 他 框架 、 一 系列 规则 或 过 程 的 指针 ， 通 
过 这 个 指针 可 以 得 到 属性 值 。 

。 基于 框架 的 系统 可 以 通过 应 用 侧面 来 扩展 属性 值 的 结构 。 侧 面 用 来 创建 属性 值 ， 控 制 终 
端 用 户 查询 ， 以 及 告诉 推理 引擎 如 何 处 理 属 性 。 

e 一 个 框架 可 以 指 一 组 相似 的 对 象 ， 也 可 以 指 某 一 个 对 象 。 类 框架 描述 一 组 有 共同 
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BEIZ. Animal, Person, Car 和 Computer 都 是 类 框架 。 实 例 可 以 描述 某 一 个 
对 象 。 

基于 框架 的 系统 支持 类 的 继承 ， 即 实例 框架 默认 类 框架 的 所 有 属性 。 继 承 的 基本 思想 是 
类 框架 中 的 属性 对 类 中 所 有 对 象 都 为 真 ， 但 实例 框架 中 的 槽 的 值 为 实际 数据 ， 对 每 个 实 
例 都 是 唯一 的 。 

框架 可 以 从 多 个 父 类 继承 属性 ， 得 到 多 于 一 个 父 类 的 属性 。 

框架 间 的 交互 是 通过 方法 和 守护 程序 实现 的 。 方 法 是 和 框架 属性 相关 的 过 程 ， 在 需要 的 
时 候 执行 。 大 多 数 基 于 框架 的 专家 系统 使 用 两 种 方法 ， WHEN CHANGED 和 WHEN 
NEEDED, WHEN CHANGED 方法 在 有 新 的 信息 加 入 权时 使 用 ，WHEN NEEDED 方法 在 解 
决 问题 需要 该 信息 ,但 没有 指定 模 值 时 执行 。 

守护 程序 和 方法 类 似 ， 这 两 个 术语 作为 同义词 使 用 。 但 是 ， 如 果 需 要 编写 复杂 的 过 程 ， 
方法 更 加 适用 。 另 一 方面 ， 守 护 程序 一 般 局 限于 IF-THEN 语句 。 

在 基于 框架 的 专家 系统 中 ， 规 则 经 常 使 用 模式 匹配 子 句 。 这 些 子 句 中 包含 用 来 在 所 有 的 
实例 框架 中 定位 匹配 条 件 的 变量 。 

虽然 框架 是 结合 陈述 性 知识 和 过 程 性 知识 的 强大 工具 ， 但 是 知识 工程 师 还 是 很 难 在 系统 
的 分 层 结构 和 继承 路 径 中 作出 决策 。 


复习 题 

1. 什么 是 框架 ? 什么 是 类 和 实例 ?举例 说 明 。 

2. HIJR Student (FÆ) 设计 类 框架 ,确定 它 的 属性 并 为 该 类 定义 一 些 实例 。 

3. 什么 是 侧面 ? 给 出 不 同 侧面 的 例子 。 

4. 在 将 问题 分 解 为 框架 、 模 和 侧面 时 的 标准 是 什么 ? 通过 例子 来 证 明 你 的 答案 。 

5. 如 何 将 对 象 关 联 到 基于 框架 的 系统 ? 什么 是 “a-kind-of” 和 “a-part-of” 关 系 ? 举例 说 明 。 
6. 定义 基于 框架 系统 的 继承 。 为 什么 说 继承 是 基于 框架 系统 的 本 质 特征 ? 

7. 框架 可 以 从 多 个 父 类 中 继承 属性 吗 ? 举例 说 明 。 

8. 什么 是 方法 ? 在 基于 框架 的 专家 系统 中 最 常见 的 方法 是 什么 ? 

9. 什么 是 守护 程序 ? 守护 程序 和 方法 之 间 有 什么 不 同 ? 


10， 基 于 规则 的 专家 系统 的 规则 和 基于 框架 的 专家 系统 的 规则 有 什么 不 同 ? 
11. 开发 基于 框架 的 专家 系统 的 主要 步骤 是 什么 ? 
12. 列举 基于 框架 的 专家 系统 的 优点 。 开 发 基于 框架 专家 系统 的 难点 是 什么 ? 
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本 章 介 绍 人 脑 的 工作 机 制 以 及 如 何 建 立 和 训练 人 工 神 经 网 络 。 


6.1 人 脑 工 作 机 制 简介 

“计算 机 什么 都 没有 证 明 ,”1997 年 5 月 ,愤怒 的 国际 象棋 冠军 加 里 . KP (Carry 
Kasparov) 在 纽约 败 给 计算 机 时 说 ,“ 如 果 我 们 是 在 进行 一 盘 真 正 的 比赛 ,我 会 把 深蓝 撕 成 
碎片 。 

尽管 卡 斯 帕 罗 夫 对 他 在 六 局 比赛 中 的 失败 轻描淡写 ， 但 是 ， 事 实 上 卡 斯 帕 罗 夫 ， 世 界 上 最 伟 
大 的 国际 象棋 大 师 被 计算 机 击败 ， 标 志 着 智能 机 器 探索 的 转折 点 。 

这 台 被 称 为 深蓝 的 IBM 超级 计算 机 ， 能 够 每 秒 钟 分 析 2 亿 个 位 置 ， 看 上 去 展示 出 了 智能 。 
BYWAY RES — SER GX LSE ER 

在 比赛 中 有 很 多 很 多 的 发 现 ， 例 如 计算 机 有 时 走 棋 就 非常 像 人 类 棋 手 。 

它 深刻 地 理解 了 位 置 因素 。 这 是 一 项 非常 杰出 的 科学 成 就 。 

从 传统 意义 上 讲 ， 要 想 在 国际 象棋 比赛 中 击败 人 类 专家 ， 计 算 机 应 该 有 策略 而 不 是 简单 地 
每 秒 钟 计算 大 量 的 “后 续 ” 步 又 。 国 际 象棋 对 弈 程序 必须 能 够 利用 经 验 来 提高 它们 的 表现 ， 换 
名 话说 ， 机 器 必须 有 学 习 的 能 力 。 

什么 是 机 器 学 习 

通常 ， 机 器 学 习 涉 及 自 适应 机 制 ， 这 种 机 制 使 计算 机 通过 经 验 、 实 例 和 类 比 进行 学 习 。 智 能 
系统 的 学 习 能 力 能 够 逐步 改善 系统 的 性 能 。 机 器 学 习 的 机 制 是 自 适应 系统 的 基础 。 机 器 学 习 最 
常见 的 方法 是 人 工 神经 网 络 和 遗传 算法 。 本 章 主 要 介绍 神经 网 络 。 

什么 是 神经 网 络 

神经 网 络 可 以 定义 为 基于 人 脑 的 推理 模型 。 大 脑 由 密集 的 相互 连接 的 神经 细胞 或 基本 信息 
处 理 单元 (也 叫 神经 元 ) 组 成 。 人 脑 大 约 有 100 亿 个 神经 元 ， 之 间 连 接 形成 的 突 触 有 60 万 亿 个 
(Shepherd and Koch, 1990) 。 通 过 同时 使 用 多 个 神经 元 ， 大 脑 执 行 任务 的 速度 远 远 超过 现在 最 快 
的 计算 机 。 

尽管 每 个 神经 元 的 结构 都 很 简单 ， 但 这 么 多 神经 元 结合 起 来 ， 处 理 能 力 还 是 非常 强大 的 。 一 
个 神经 元 包含 一 个 细胞 体 (soma) 、 一 些 树 突 (dendrite) 和 一 根 很 长 的 轴 突 (axon)。 如 果树 突 
伸 向 细胞 体 周围 的 网 络 中 ， 轴 突 就 向 树 突 和 其 他 神经 元 的 细胞 体 伸展 开 。 图 6. 1 是 神经 网 络 的 示 
意图 。 





图 6.1 生物 神经 网 络 
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信和 号 在 神经 元 之 间 的 传递 是 通过 复杂 的 电化 学 反应 实现 的 。 从 突 触 中 释放 出 的 化 学 物质 导 
致 细胞 体 电压 发 生变 化 。 当 电压 达到 阔 值 ， 就 会 通过 轴 突 向 下 传送 一 个 电 脉冲 〈 动 作 电 位 )。 脉 
冲 传 播 并 最 终 到 达 突 触 ， 使 突 触 的 电压 增加 或 减少 。 但 是 ， 最 有 意思 的 发 现 是 神经 网 络 表 现 出 一 
定 的 可 塑性 。 为 了 和 刺激 的 模式 相 适 应 ， 神 经 元 在 连接 处 的 强度 有 长 期 的 变化 。 神 经 元 也 可 以 与 
其 他 神经 元 形成 新 的 连接 。 甚 至 整个 神经 元 的 集合 都 可 以 从 一 个 地 方 搬 到 另 一 个 地 方 。 这 些 机 
制 就 是 大 脑 学 习 的 基础 。 

人 脑 可 以 看 做 是 一 个 高 度 复杂 、 非 线性 、 并 行 的 信息 处 理 系统 。 神 经 网 络 中 信息 的 存储 和 处 
理 在 整个 网 络 中 是 同时 进行 的 ， 而 不 是 在 某 个 位 置 上 同时 进行 。 换 句 话 说， 在 神经 网 络 中 ， 数 据 
及 其 处 理 是 全 局 的 而 不 是 局 部 的 。 

正 是 因为 具有 这 种 可 塑性 ,“ 正 确 答案 ”的 神经 元 之 间 的 连接 才 会 被 强化 ， 而 “错误 答案 ” 
的 连接 则 会 被 弱化 。 因 此 ， 神 经 网 络 能 够 通过 经 验 学 习 。 

学 习 是 生物 神经 网 络 的 基础 和 本 质 特 征 。 这 种 简单 、 自 然 的 方式 使 得 在 计算 机 中 模拟 生物 
神经 网 络 的 尝试 成 为 可 能 。 

虽然 现在 的 人 工 神 经 网 络 (ANN) 和 人 脑 相 似 的 程度 就 像 纸 飞机 和 超 音 速 飞 机 相似 的 程度 ， 
但 它 发 展 得 很 快 。ANN 有 “学 习 ” 的 能 力 ， 即 ANN 可 以 用 经 验 来 改进 自身 的 性 能 。 在 接触 了 足 
够 的 实例 之 后 ，ANN 可 以 推广 应 用 到 新 情况 。 它 们 可 以 识别 手写 体 字 母 ， 识 别人 们 说 话 中 的 单 
词 ， 发 现 飞机 上 的 爆炸 物 。 此 外 ，ANN 还 可 以 分 析 人 类 专家 难以 识别 的 模式 。 例 如 ，Chase Man- 
hattan 银行 用 神经 网 络 来 检查 被 瓷 信用 卡 的 使 用 信息 ， 并 发 现 最 可 疑 的 消费 是 40 ~ 80 美元 的 
pop 

人 工 神 经 网 络 如 何 模拟 大 脑 

人 工 神 经 网 络 包 含 很 多 简单 但 高 度 互联 的 处 理 器 ， 也 称 作 神经 元 ， 这 与 大 脑 中 的 生物 神 
经 网 络 相 似 。 神 经 元 之 间 通 过 具有 权重 的 链接 将 信号 从 一 个 神经 元 传递 到 另 一 个 神经 元 。 每 
个 神经 元 通过 链接 收 到 几 个 输入 信号 ， 输 出 信号 却 顶 多 有 一 个 。 输 出 信号 通过 神经 元 的 输出 
链接 传送 ( 和 生物 网 络 中 的 轴 突 类 似 ) 。 输 出 链接 又 分 出 几 个 分 支 传递 相同 的 信号 〈 信 和 号 不 能 
在 分 支 间 以 任何 方式 分 割 ) 。 和 输出 分 支 在 网 络 中 其 他 神经 元 的 输入 链接 处 中 止 。 图 6. 2 为 典型 
ANN 的 框架 。 表 6. 1 给 出 了 生物 神经 网 络 和 人 工 神经 网 络 间 的 对 比 (Medsker and Liebowitz, 
1994) 。 


3&6. 1 生物 网 络 和 人 工 神经 网 络 间 的 对 比 





生物 神经 网 络 人 工 神 经 网 络 
细胞 体 神经 元 
树 突 输入 
LES 输出 
突 触 权重 


人 工 神 经 网 络 如 何 “学 习 ” 

神经 元 通过 链接 相连 ， 每 个 链接 都 有 数值 权重 。 权 重 是 ANN 用 于 长 期 记忆 的 基本 方 
式 。 它 们 表达 每 个 神经 元 输入 的 强度 或 重要 性 。 人 工 神经 网 络 通过 不 断 调整 这 些 权重 进行 
“学 习 ”。 

神经 网 络 懂得 如 何 调整 权重 吗 

如 图 6.2 所 示 ， 典 型 的 ANN 是 层次 结构 的 ， 网 络 中 的 神经 元 排列 在 这 些 层 中 。 与 外 部 环境 
链接 的 神经 元 形成 输入 层 和 输出 层 。 通 过 调节 权重 使 网 络 的 输入 /输出 行为 与 外 部 环境 一 致 。 
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每 个 神经 元 是 信息 处 理 的 基本 单位 。 在 给 定 输入 和 权重 时 ， 可 以 计算 神经 元 的 激活 水 平 
( activation level) 。 
要 建立 人 工 神经 网 络 ， 必 须 首 先 确 定 要 用 到 多 少 神 
经 元 ， 以 及 如 何 连接 神经 元 以 形成 网 络 。 换 名 话说 ， 必 由 
须 首先 选择 网 络 的 架构 ， 然 后 决定 使 用 什么 样 的 学 习 算 E 
法 。 最 后 是 训练 神经 网 络 ， 即 初始 化 网 络 的 权重 ， 并 通 € 
过 一 系列 的 实例 训练 改变 权重 的 值 。 
下 面 首先 介绍 ANN 的 基本 构建 元 素 一 神经 元 。 ne 


6.2 ”作为 简单 计算 元 素 的 神经 元 图 6.2 典型 人 工 神 经 网 络 的 结构 


神经 元 接收 来 自 输入 链接 的 一 些 信号 ， 计 算 新 的 激活 水 平 ， 并 将 其 作为 输出 信号 通过 输出 
链接 进行 传送 。 输 入 信号 可 以 是 原始 数据 或 其 他 神经 元 的 输出 。 输 出 信号 可 以 是 问题 的 最 终 解 
决 方案 ， 也 可 以 是 其 他 神经 元 的 输入 信号 。 图 6.3 为 典型 的 神经 元 。 
输入 信号 ”权重 全 出 信号 


输出 信号 





图 6.3 神经 元 示意 图 


神经 元 如 何 确定 输出 

1943 年 ，Warren McCulloch 和 Walter Pitts 提出 了 一 种 非常 简单 的 思想 ， 这 种 思想 现在 依旧 是 
大 多 数 人 工 神 经 网 络 的 基础 。 

神经 元 计算 带 权 重 的 输入 信号 之 和 ， 并 将 此 结果 和 阔 值 9 比较 。 如 果 网 络 的 净 输 入 比 阔 值 
低 ， 神 经 元 输出 -1， 如 果 网 络 净 输 入 大 于 或 等 于 阔 值 ， 则 神经 元 激活 并 输出 +1 (McCulloch and 
Pitts, 1943), 

换 句 话说 ， 神 经 元 使 用 下 面 的 转换 或 激活 函数 ， 


X= > xw, (6.1) 
pale XS 
-1, ZiX«0 
其 中 , 对 是 神经 元 的 净 权 重 输 入 ，x; EWA iE, w 是 输入 i 的 权重 ,n 是 神经 元 输入 的 数量 ， 
了 是 神经 元 的 输出 。 
这 种 激活 函数 称 为 符号 函数 。 
因此 ， 符 号 激活 函数 的 神经 元 的 实际 输出 可 以 表示 为 
Y = sign[ Y xw, - 6] (6.2) 


符号 函数 是 神经 元 使 用 的 唯一 激活 函数 吗 
在 已 经 测试 的 激活 函数 中 ， 仅 有 几 个 在 实际 中 得 到 了 应 用 。4 个 常用 的 激活 函数 CIT EK ER 
数 、 符 号 函数 、S 形 函 数 和 线性 图 数 ) 如 图 6. 4 所 示 。 
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ss [th 车 Y>0 
y=] L, £x-o 


Y linear — X 





图 6.4 神经 元 的 激活 函数 


阶 跃 和 符号 激活 函数 〈 也 称 为 硬 限 幅 函数 ) ， 常 用 于 分 类 和 模式 识别 的 决策 制定 神经 元 。 

S 形 函 数 可 以 将 输入 (变化 范围 在 负 无 穷 到 正 无 穷 之 间 的 值 ) 转换 成 范围 在 0 ~1 之 间 的 适 
当 的 值 。 使 用 该 函数 的 神经 元 用 于 反 向 传播 的 网 络 。 

线性 激活 函数 的 输出 和 神经 元 的 权重 输入 一 致 。 使 W^ 
用 线性 函数 的 神经 元 一 般 用 于 线性 近似 。 

单个 神经 元 可 以 学 习 由 

1958 年 ，Frank Rosenblatt 提出 了 一 种 训练 算法 ， 
该 算法 给 出 了 第 一 个 训练 简单 的 ANN 的 过 程 : 感知 器 ^ 






(vj) 线性 组 合 器 硬 限 幅 器 
输出 





(perceptron) (Rosenblatt, 1958) 。 感 知 器 是 神经 网 络 最 阅 值 
简单 的 形式 。 它 由 一 个 可 调整 突 触 权重 的 神经 元 和 硬 限 图 6.5 单 层 双 输 入 感知 器 
幅 器 组 成 。 图 6. 5 所 示 为 单 层 双 输 入 感知 器 。 

6. 3 感知 器 


Rosenblatt 感知 器 的 操作 是 基于 McCulloch 和 Pitts 的 神经 元 模型 。 这 个 模型 由 一 个 线性 组 合 
器 后 接 一 个 硬 限 幅 器 组 成 。 输 入 的 权重 之 和 被 施加 于 硬 限 幅 器 ， 若 其 输入 为 正 ， 则 输出 为 + 1; 
若 其 输入 为 负 ， 则 输出 为 -1。 感 知 器 的 作用 是 将 输入 分 类 ， 也 就 是 将 输入 x, ，x,，…，x, 分 为 
两 类 ， 即 4, 和 4,。 因 此 一 个 基本 的 感知 器 ， 用 超 平面 将 x 维 空间 划分 为 两 个 决策 区 域 。 超 平面 
由 线性 分 割 函 数 定义 : 


Yu - 6 = 0 | (6.3) 
103 在 有 两 个 输入 x, 和 时 ， 决 策 边 界 为 图 6. 6a 中 所 示 的 粗 直 线 。 点 1 在 边界 线 的 上 方 ， 属 于 
170 A, 28, A 2 在 边界 线 的 下 方 ， 属 于 4, X. BÉ 9 用 来 改变 决策 边界 。 





XIWItX Wtxaw—0=0 





XWtxw—0=0 


a) 双 输 入 感知 器 b) 三 输入 感知 器 


图 6.6 感知 器 的 线性 分 割 


有 三 个 输入 的 超 平面 还 是 可 见 的 ， 图 6. 6b 所 示 为 三 输入 感知 器 的 三 个 维度 。 其 中 分 割 平面 
可 以 定义 为 : 
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xw, XU, +x,w, - 0-0 
感知 器 如 何 学 习 分 类 任务 
通过 细微 地 调节 权重 来 减少 感知 器 的 期 望 输 出 和 实际 输出 之 间 的 差别 ， 可 以 完成 这 一 任务 。 初 
始 权重 可 以 随意 赋值 ， 通 常 在 范围 [ -0.5, 0.5) 内 ,然后 通过 训练 实例 进行 调整 。 对 于 感知 器 ， 
权重 调整 的 过 程 非常 简单 。 如 果 在 迭代 p 中 ， 实 际 输出 为 Y(p)， 期 望 输出 为 Y,(p) ， 那 么 误差 为 : 
e(p) =¥,(p) -Y(p) 其 中 p= 1,2,3,… (6.4) 
这 里 迭代 p 表示 提供 给 感知 器 的 第 p 个 训练 实例 。 
如 果 误 差 e(p) 为 正 ， 就 需要 增加 感知 器 的 输出 Y(p) ; 如 果 e(P) 为 负 ， 就 减少 感知 器 的 输 
出 Y(p)。 考 虑 到 每 个 感知 器 对 总 输入 X(p) 的 贡献 为 x,(p) xw(p)， 可 以 得 知 ， 如 果 输 入 值 
si(p) 为 正 ， 那 么 增加 其 权重 w;(p) 可 以 增加 感知 器 的 输出 Y(p) 的 值 ， 如 果 输 入 值 x,(p) 为 负 ， 
那么 增加 其 权重 w(p) 可 以 减少 输出 Yp) 的 值 。 因 此 ， 可 以 建立 下 面 的 感知 器 学 习 规 则 : 
w,(p*l)-w;(p)*axx(p) xe(p) (6. 5) 
HH, a 是 学 习 速 率 ， 是 一 个 小 于 1 的 正常 数 。 
感知 器 学 习 规 则 首先 由 Rosenblatt 在 1960 年 提出 (Rosenblatt, 1960), 。 使 用 这 个 规则 可 以 得 
出 用 于 分 类 任务 的 感知 器 训练 算法 。 
步骤 1: 初始 化 。 
设置 权重 w, w,, «e, w AB O 的 初 值 ， 取 值 范围 为 [ -0.5, 0.5], 
步骤 2: 激活 。 
通过 用 输入 x, (p), x2, +, zx,(p) 以 及 期 望 输出 Y,(p) 来 激活 感知 器 。 在 兴 代 p=1 上 
计算 实际 输出 为 ; 


Y(p) = step[ Y x (pw (p) - 6] (6.6) 


HP, on 为 感知 器 输入 的 数量 ，step YBBR PROC 
FRI: 权重 训练 。 


修改 感知 器 的 权重 : 

w,(p +1) =w,(p) + Aw,(p) (6.7) 
HP, Aw,(p) WER p 上 的 权重 校正 。 通 过 delia 规则 计算 权重 校正 : 

Aw,(p) =axx,(p) xe(p) (6.8) 
步骤 4: EK. 


迭代 p 加 1， 回 到 步 邓 2， 重复 以 上 过 程 直 至 收敛 。 
可 以 训练 感知 器 执行 类 似 于 AND, OR 或 Exclusive - OR 的 逻辑 操作 吗 
表 6.2 为 AND (与 )、OR (或 ) 和 Exclusive - OR ($R) 的 真 值 表 。 表 中 列 出 了 两 个 
变量 x, 和 x, 所 有 可 能 的 组 合 和 操作 的 结果 。 感 知 器 必须 要 经 过 训练 才能 分 类 不 同 的 输入 
模式 。 
表 6.2 基本 逻辑 操作 的 真 值 表 


输入 变量 5 或 异 或 
x, X) x; fix; x; Ux; xy Bx 
0 0 0 0 0 

0 1 0 1 1 

1 0 0 1 1 

1 1 1 1 0 
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首先 考虑 AND 操作 。 初 始 化 步 又 完成 后 ， 感 知 器 由 表示 一 个 周期 的 4 个 输入 模式 的 序列 激 
活 。 每 次 激活 后 修改 感知 器 的 权重 。 一 直 重 复 这 个 过 程 ， 直 到 所 有 的 权重 收敛 到 统一 的 一 组 取 值 
为 止 。 结 果 如 表 6. 3 所 示 。 


表 6.3 感知 器 学 习 的 例子 : 逻辑 操作 AND 




















Bids 输入 期 望 输出 Y, 初始 权重 RY We 最 终 权 重 
ay Xz wi wa w wz 
1 0 0 0 0.3 -0.1 0 0 0.3 -0.1 
0 1 0 0.3 -0.1 0 0 0.3 -0.1 
1 0 0 0.3 -0.1 1 -1 0.2 -0.1 
1 1 1 0.2 -0.1 0 1 0.3 0.0 
2 0 0 0 0.3 0.0 0 0 0.3 0.0 
0 1 0 0.3 0.0 0 0 0.3 0.0 
1 0 0 0.3 0.0 1 -1 0.2 0.0 
1 1 1 0.2 0.0 1 0 0.2 0.0 
3 0 0 0 0.2 0.0 0 0 0.2 0.0 
0 1 0 0.2 0.0 0 0 0.2 0.0 
1 0 0 0.2 0.0 1 -1 0.1 0.0 
1 1 1 0.1 0.0 0 1 0.2 0.1 
4 0 0 0 0.2 0.1 0 0.2 0.1 
0 1 0 0.2 0.1 0 0 0.2 0.1 
1 0 0 0.2 0.1 1 -1 0.1 0.1 
1 1 1 0.1 0.1 1 0 0.1 0.1 
5 0 0 0 0.1 0.1 0 0 0.1 0.1 
0 1 0 0.1 0.1 0 0 0.1 0.1 
1 0 0 0.1 0.1 0 0 0.1 0.1 
1 1 1 0.1 0.1 1 0 0.1 0.1 


ik. HMÁ: 020.2; FIRB: a=0.1, 

类 似 地 ， 感 知 器 可 以 学 习 OR 操作 。 但 是 单 层 的 感知 器 不 能 通过 训练 来 执行 Exclusive - OR 
操作 。 

可 以 通过 一 个 简单 的 几何 例子 理解 其 中 的 原因 。 图 6.7 为 有 两 个 输入 的 AND, OR, Exclu- 
sive - OR 二 维 图 。 当 函数 输出 为 1 时 输入 空间 的 点 用 黑色 表示 ， 当 函数 输出 为 0 时 输入 空间 的 点 








用 白色 表示 。 
X 
1 
A 0 — 
a) AND(x, Nx,) b) OR(x, Ux,) c) Exclusive-OR(x, Dx,) 
图 6.7 基本 逻辑 操作 的 二 维 图 


在 图 6.7a 和 图 6.7b 中 ,可 以 画 一 条 线 ， 让 所 有 的 黑 点 在 一 边 ， 白 点 在 男 一 边 , 但 图 6.7c 
中 黑 点 和 白 点 就 不 能 用 一 条 线 分 割 。 感 知 器 仅仅 能 够 表达 这 种 能 用 一 条 线 将 所 有 黑 点 和 所 有 白 
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点 分 割 开 的 函数 。 这 种 函数 也 称 作 线性 分 割 函数 。 因 此 ， 感 知 器 可 以 学 习 的 操作 有 AND 和 OR, 
但 不 能 学 习 Exclusive - OR 操作 。 
为 什么 感知 器 仅仅 能 学 习 线 性 分 割 函 数 
可 以 从 式 (6.1) 中 推导 出 感知 器 为 什么 只 能 学 习 线 性 分 割 函数 。 仅 当 总 的 权重 输入 二 大 于 
或 等 于 阐 值 6 时 ， 感 知 器 的 输出 了 才 为 1。 这 就 说 明 整 个 输入 空间 通过 于 = 所 定义 的 边界 分 成 
了 两 部 分 。 例 如 ， 操 作 AND 的 分 割 线 由 下 面 的 公式 定义 : 
xw trw, =O 
如 果 按 表 6. 3 给 权重 w, 、w, MAE 0 赋值 ， 就 得 到 了 一 条 可 能 的 分 割 线 : 
0. 1x, +0. 1x, 20.2 
或 
X, +% =2 
因此 ， 输 出 为 0 的 区 域 在 边界 线 的 下 方 ， 
xi tx,—-2«0 
输出 为 1 的 区 域 在 边界 线 的 上 方 : 
x, +x, -220 
Alas RAS URED Sl OM, KALTER, ARR EU EID RY AR, 
用 S 形 或 线性 元 素 取代 硬 限 幅 器 会 更 好 吗 
不 管 感知 器 使 用 的 激活 函数 是 什么 ， 单 层 感知 器 用 相同 的 方法 做 决策 (Shynk, 1990; Shynk 
and Bershad, 1992). 。 这 就 意味 着 不 管 是 用 硬 限 幅 激 活 函 数 还 是 软 限 幅 激活 函数 ， 单 层 感知 器 仅 
能 分 类 线性 分 割 模式 。 
感知 器 的 计算 限制 在 Minsky 和 Papert 所 著 的 Perceptrons 中 有 相关 的 数学 分 析 (Minsky and 
Papert，1969) 。 这 本 书 中 证 明了 Ronsenblatt 感知 器 不 能 根据 在 局 部 学 习 到 的 实例 进行 全 局 推广 。 
同时 ，Minsky 和 Papert 总 结 出 单 层 感知 器 的 限制 对 于 多 层 神 经 网 络 也 适用 。 这 样 的 结论 当然 不 鼓 
励 对 人 工 神 经 网 络 更 进一步 的 研究 。 
怎样 处 理 不 能 线性 分 割 的 问题 
要 处 理 这 样 的 问题 就 需要 多 层 神经 网 络 。 实 际 上 ， 历 史 已 经 证 明了 Rosenblatt 感知 器 可 以 通 
过 改进 神经 网 络 的 形式 来 克服 ， 例 如 ， 用 反 向 传播 算法 训练 的 多 层 感知 器 。 


6.4 多 层 神 经 网 络 

多 层 感 知 器 是 有 一 个 或 多 个 隐 含 层 的 前 馈 神 经 网 络 。 通 常 ， 网 络 包含 由 源 神 经 元 组 成 的 一 
个 输入 层 ， 由 计算 神经 元 组 成 的 至 少 一 个 中 间 层 或 隐 含 层 ， 以 及 由 计算 神经 元 组 成 的 一 个 输出 
层 。 输 入 信号 一 层 一 层 地 前 向 传递 。 有 两 个 隐 售 层 的 多 层 感知 器 如 图 6. 8 所 示 。 


输出 信号 





输入 层 第 一 隐 含 层 。 第 二 隐 含 层 输出 层 
图 6.8 有 两 个 隐 含 层 的 多 层 感 知 器 
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为 什么 需要 隐 含 层 

多 层 神 经 网 络 的 每 一 层 都 有 其 特定 的 功能 。 输 入 层 接 收 来 自 外 部 世界 的 输入 信号 ， 重 新 将 
信号 发 送 给 隐 含 层 的 所 有 神经 元 。 实 际 上 ， 输 入 层 很 少 会 包含 计算 神经 元 ， 因 此 不 处 理 输入 模 
式 。 输 出 层 从 隐 含 层 接收 输出 信号 ， 或 者 刺激 模式 ， 并 为 整个 网 络 建立 输出 模式 。 

隐 含 层 的 神经 元 发 现 特征 ; 神经 元 的 权重 表示 了 隐 含 在 输入 模式 中 的 特征 。 输 出 层 根 据 这 
些 特征 确定 输出 模式 。 

利用 一 个 隐 含 层 ， 我 们 可 以 表示 输入 信号 的 任何 连续 函数 ;利用 两 个 隐 含 层 甚至 可 以 表示 
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不 连续 的 函数 。 

为 什么 多 层 网 络 中 的 中 间 层 叫做 隐 含 层 ? 这 个 层 隐 藏 了 什么 

隐 含 层 “ 隐 含 ” 了 其 期 望 的 输出 值 。 隐 含 层 的 神经 元 不 能 通过 网 络 的 输入 /输出 行为 来 分 
析 。 没 有 明显 的 方式 可 以 了 解 隐 含 层 的 期 望 输出 值 。 换 名 话说 ， 隐 含 层 的 期 望 输出 完全 由 自己 
决定 。 

神经 网 络 可 以 包含 2 个 以 上 的 隐 含 层 吗 

商用 ANN 一 般 有 三 层 或 四 层 ， 包 含 一 到 两 个 隐 含 层 。 每 层 有 10 ~ 1000 个 神经 元 。 实 验 神经 
网 络 可 能 有 5 层 甚 至 6 层 ， 包 含 3 或 4 个 隐 含 层 ， 有 数 百 万 个 神经 元 ， 但 大 多 数 实际 应 用 仅 有 3 
层 ， 因 为 每 增加 一 层 ， 计 算 量 将 呈 指 数 级 上 升 。 

多 层 神 经 网 络 如 何 学 习 

有 上 百 万 种 学 习 算 法 可 供 选 择 ， 但 最 常用 的 是 反 向 传播 方法 。 这 种 方法 在 1969 年 被 首次 提 
Hi (Bryson and Ho，1969) ， 但 是 由 于 其 对 计算 的 要 求 过 分 苛刻 而 被 人 们 忽略 。20 世纪 80 年 代 中 
期 ， 这 种 算法 才 被 重新 发 现 。 

多 层 网 络 的 学 习 过 程 和 感知 器 一 样 。 要 给 网 络 提供 输入 模式 的 训练 集 。 网 络 计算 其 输出 模 
式 ， 如 果 有 错 ， 也 就 是 说 ， 实 际 输出 和 期 望 输出 不 一 致 ， 就 调节 权重 来 减 小 误差 。 

在 感知 器 中 ， 每 个 输入 仅 有 一 个 权重 和 一 个 输出 。 但 在 多 层 网 络 中 ， 有 多 个 权重 ， 每 个 权重 
对 一 个 以 上 的 输出 都 有 贡献 。 l 

是 否 可 以 估计 误差 ， 并 在 有 作用 的 权重 中 间 分 配 

在 反 向 传播 神经 网 络 中 ， 学 习 算 法 有 两 个 阶段 。 首 先 将 训练 输入 模式 提供 给 网 络 的 输入 层 。 
然后 输入 模式 在 网 络 中 一 层 一 层 地 传递 ， 直 到 输出 层 产生 输 出 模式 为 止 。 如 果 输 出 模式 和 网 络 
预期 的 输出 模式 不 同 ， 则 计算 误差 ， 然 后 从 网 络 的 输出 层 反 向 传播 回 输 入 层 。 在 传递 误差 时 ， 调 
整 权 重 的 值 。 

和 其 他 神经 网 络 一 样 ， 反 向 传播 神经 网 络 是 由 神经 元 的 连接 (RIA ART) 、 神 经 元 使 用 的 激 
活 顶 数 和 指定 用 于 调整 权重 的 学 习 算法 〈 或 学 习 规 则 ) 组 成 。 

通常 ， 反 向 传播 网 络 是 多 层 网 络 ， 有 3 层 或 4 层 ， 层 与 层 之 间 充 分 连接 ， 也 就 是 说 ， 每 一 层 
的 每 个 神经 元 和 相 邻 的 前 一 层 中 其 他 神经 元 都 有 连接 。 
神经 元 确定 输出 的 方式 和 Rosenblatt 感知 器 类 似 。 首 先 计算 净 权 重 输入 : 


X = Y xw, -0 
fel 


其 中 , 是 输入 的 个 数 ，0 EOC ERE. 
接 下 来 ， 输 入 值 通过 激活 函数 传递 。 和 感知 器 不 同 的 是 ， 反 向 传播 网 络 中 的 神经 元 使 用 S 形 
激活 函数 。 








1 
le 


该 函数 的 导数 容易 计算 。 它 保证 神经 元 的 输出 在 0 到 1 之 间 。 


Y sigmoid — 





(6.9) 


x 
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反 向 传播 网 络 中 使 用 的 学 习 规则 是 什么 

要 推导 反 向 传播 的 学 习 规 则 ， 我 们 考虑 图 6.9 中 的 3 层 网 络 。 下 标 i、j 和 并 分别 表示 输入 
层 、 隐 含 层 和 输出 层 中 的 神经 元 。 

输入 信号 X. x. cn, x, 从 网 络 的 左 侧 
传递 到 右 侧 ， 而 误差 信号 e, e.c. eh 
到 左 传递 。 符 号 w; 指 的 是 输入 层 的 神经 元 i 
和 隐 含 层 的 神经 元 j 间 连接 的 权重 ,符号 wj 
指 的 是 隐 伟 层 的 神经 元 j 和 输出 层 的 神经 元 
大 间 连 接 的 权重 。 

为 了 传送 误差 信号 ， 从 输出 层 开始 向 后 
传 到 隐 含 层 。 神 经 元 天 的 第 p 次 迭代 的 误差 
信和 号 定义 为 : 

e,(p) =Van(P) -y,[Q» (6. 10) 
其 中 ,ys,(p) 是 神经 元 的 第 p KERR 
望 输出 。 

位 于 输出 层 的 神经 元 开具 有 自己 的 预期 
值 。 因 此 ， 可 以 用 简单 方法 来 修改 权重 wi 的 
值 。 实 际 上 ， 修 改 输出 层 权重 的 规则 和 公式 (6.7) 的 感知 器 学 习 规 则 类 似 : 

wa(p*1)-w,(p) +Aw(p) (6. 11) 





图 6.9 3 层 反 向 传播 神经 网 络 


其 中 ，A wn(p) 是 权重 校正 。 

确定 了 感知 器 的 权重 校正 后 ， 使 用 输入 信号 x;。 但 是 在 多 层 网 络 中 ,输出 层 神经 元 的 输入 和 
输入 层 神经 元 的 输入 是 不 同 的 。 

不 能 使 用 输入 信号 x,， 应 该 使 用 什么 来 替代 

我 们 使 用 隐 含 层 神经 元 j 的 输出 y, 而 不 是 输入 x;。 多 层 网 络 权重 校正 的 计算 方法 (Fu，1994) X: 

Aw(p) =axy(p) x6,(p) (6. 12) 

其 中 ，6,(p) 是 输出 层 第 p 次 迭代 时 神经 元 上 的 误差 梯度 。 

什么 是 误差 梯度 

误差 梯度 的 定义 为 激活 函数 的 导数 和 神经 元 输出 误差 的 乘积 。 

因此 ， 对 于 输出 层 神 经 元 大， 有 

dy, (Pp) 


8) = (p) e (6.13) 


其 中 ，y, (o) ATC k FESS p 次 迭代 的 输出 ，X,(p) 为 同 次 迭代 中 神经 元 的 净 权 重 输入 。 
对 于 5 形 激活 函数 ， 式 (6.13) 可 表示 为 : 





1 
5,( y lize -x7) (p) = PLXAD — 
eee MV) PT ree -Xp) 1? 


因此 ， 可 以 得 到 : 


xe,(p) 


6,(p) 2y,GQ) x[1-x,(p) ] xe,(p) (6. 14) 
其 中 ， 


nO ST al -X0)] 
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如 何 确 定 隐 含 层 中 神经 元 的 权重 校正 
要 计算 隐 含 层 的 权重 校正 ， 可 以 使 用 和 输出 层 相 同 的 公式 ， 


A ws(p) -axxsx(p) xô (p) 


其 中 ，6,(p) 为 隐 含 层 神 经 元 j 的 误差 梯度 。 


5(p) = y(p) x [1 -y(p)] x > 5,(p) 4 (p) 


Ep, 是 输出 层 神经 元 的 个 数 。 


y) = 本 


n 


X;(p) = >) «,(p) x w,(p) - 6; 


i=l 


n 为 输入 层 神经 元 的 个 数 。 
现在 可 以 导出 反 向 传播 的 训练 算法 。 


步骤 1: 初始 化 。 


用 很 小 范围 内 均匀 分 布 的 随机 数 设 置 网 络 的 权重 和 阔 值 (Haykin, 2008) ; 


24 24 
(FOIR) 


其 中 ,， 丈 是 网 络 中 神经 元 的 输入 总 数 。 权 重 的 初 值 要 逐个 神经 元 来 设置 。 


步骤 2: 激活 。 


通过 应 用 输入 x Cp) , x,(p), Ut, x,(p) 和 期 望 的 输出 yx (p) , Yan (P), 


活 反 向 传播 神经 网 络 。 


(a) 计算 隐 含 层 神经 元 的 实际 输出 : 


y,(p) = sigmoid[ x) x wi(p) -6,] 


Rob, n 是 隐 含 层 神经 元 ) 的 输入 个 数 ，sigmoid 为 S 形 激活 函数 。 
(b) 计算 输出 层 神经 元 的 实际 输出 


y, (p) = sigmoid[ > xy (p) x w,,(P) - 4] 


其 中 ,mm 为 输出 层 神经 元 的 输入 个 数 。 
步骤 3: 权重 训练 。 i 
修改 反 向 传播 网 络 中 的 权重 〈 反 向 传播 网 络 反 向 传播 与 输出 神经 元 相关 的 误差 ) 。 
(a) 计算 输出 层 神经 元 的 误差 梯度 : 


5,(p) =y,(p) x[1-y¥,(p) ] xe,Cp) 


其 中 : 
e,(p) - yap) -y,() 
计算 权重 的 校正 : 
Awa(p) =axy,(p) xà(p) 
更 新 输出 神经 元 的 权重 : 


w,(p +1) =w,(p) +Aw,(p) 


(b) 计算 隐 含 层 神经 元 的 误差 梯度 : 


计算 权重 的 校正 : 


&(p) = ¥,(p) x [1 -y;(p)] x > 8,(p) x w,(p) 


(6. 15) 


e, Yan(p) 来 激 
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Aw,(p) =axx;(p) xà(p) 
更 新 隐 含 层 神经 元 的 权重 : 
w,(p+1) =w,(p) +Aw,(p) 

步骤 4: EK. 

迭代 p 加 1， 回 到 步骤 2， 重 复 上 述 过 程 直 到 满足 误差 要 求 为 止 。 

举 个 例子 ， 考 虑 如 图 6. 10 所 示 的 三 层 反 向 传播 网 络 ， 假 设 网 络 需 要 执行 的 逻辑 操作 是 Ex- 
clusive ~ OR。 回 忆 一 下 ， 单 层 的 感知 器 不 能 进行 这 样 的 操作 。 这 里 使 用 三 - 层 的 网 络 。 

输入 层 中 的 神经 元 1 和 2 分 别 接收 输入 x 和 x,， 
然后 并 不 做 任何 处 理 ， 而 是 在 隐 含 层 中 重新 分 配给 
神经 元 : x 7 x4 7x, 和 xz =xoxs = 和 。 

隐 含 层 或 输出 层 的 某 个 神经 元 的 阔 值 可 以 用 其 
权重 9 来 表示 ，6 与 一 个 等 于 - 1 的 固定 输入 相连 。 

权重 或 阀 值 的 初 值 可 随意 设置 如 下 : 

wy, =0.5, w, 20.9, w, 20.4, wy 21.0, ws 
=-12, wu, =1.1, 0,-0.8, 6, = -01 以 及 
6, -0.3 输入 层 ESR 输出 层 

考虑 训练 集 的 输入 RI, 都 为 1， 期 望 输出 7。。 图 6 10 k Exclusive _ OR 操作 的 三 层 网 络 
为 0。 隐 含 层 中 的 神经 元 3 和 4 的 实际 输出 为 : 

y, = sigmoid( x, W, * x, Wy —0,) =1/[1 te 0031159171399 ] =0. 5250 
y, = sigmoid( x, w +% Wy —0,) =1/[1 +e r+] 20, 8808 
现在 可 以 确定 输出 层 神 经 元 5 的 实际 输出 为 : 
y, =sigmoid(y u,, +y - 0;) =1/[1 +e™ 50x.2+0808x11-1x0.3) ] =0.5097 

因此 ， 得 到 误差 : 





e2y,, -Ys 20 -0.5097 = -0.5097 
下 一 步 是 权重 训练 。 要 更 新 网 络 中 的 权重 和 羡 值 ， 需 要 从 输出 层 反 向 传播 误差 。 到 输入 层 。 
HA, 计算 输出 层 神经 元 5 的 误差 梯度 : 
8, =y,[1-y;Je 20. 5097 x (1—0.5097) x ( -0.5097) = -0. 1274 
接 下 来 ， 假 设 学 习 速 率 参数 a 为 0. 1 ， 确 定 权重 的 校正 值 : 
A wy =a Xy, X =0.1x0.5250x(-0.1274) = -0.0067 
Aw, =a Xy, Xô, =0. 1 x0. 8808 x ( -0.1274) = -0.0112 
A0,=ax(-1) x8, 20.1x( - 1) x( -0.1274) =0. 0127 
下 面 计算 隐 含 层 中 神经 元 3 和 4 的 误差 梯度 : 
8, = 为 (1 -y,) X8; X wy =0.5250x(1-0.5250) x ( -0.1274) x ( -1.2) =0. 0381 
8, 2 y, (1 - y,) X8 X w, 20. 8808 x (1 -0. 8808) x ( -0. 1274) x1. 1 = -0.0147 
确定 权重 的 校正 值 : 
A w, =a Xx, Xd, 20. 1 x 1 x0. 0381 =0. 0038 
Aw, =a Xx, xô, 20.1 x1x0.0381 =0. 0038 
A0, ax ( -1) xà, 0.1 x ( -1) x0.0381 = —0. 0038 
Aw, -axx, xô, 20.1 x1x( —0.0147) = - 0.0015 
Aw, 2o Xx, xô, 20.1 x1x( —0.0147) = -0. 0015 
“Ab 2ax( -1) x8, 20.1 x ( -1) x ( -0.0147) =0. 0015 
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最 后 ， 更 新 网 络 中 所 有 的 权重 和 辣 值 : 
Wa =w, + A w, =0. 5 +0. 0038 =0. 5038 
Wa = Wy, +A w, =0.9 -0.0015 20. 8985 
Wy =W, + Aw, =0. 4 +0. 0038 =0. 4038 
W,, = Wm + Aw, =1.0-0.0015 =0. 9985 
Wa =w,, + A w, = -1.2-0.0067 = -1.2067 
Wa = Was + A w, =1. 1 — 0. 0112 =1.0888 
8, 20, + A 0, =0. 8 - 0. 0038 =0. 7962 
0, 20, * A0, = —0. 1 +0. 0015 = —0.0985 
0, 20; + A 0, =0. 3 +0. 0127 =0. 3127 
重复 训练 过 程 ， 直 至 误差 的 平方 和 小 于 0.001 为 止 。 
为 什么 要 取 误 差 的 平方 和 
误差 的 平方 和 是 衡量 网 络 性 能 的 很 有 用 的 指标 。 反 向 传播 的 训练 算法 试图 把 这 个 标准 最 小 
化 。 如 果 误 差 传递 通过 全 部 训练 集 后 ， 误 差 的 平方 和 (RAW) 达到 足够 小 ， 就 认为 网 络 是 收 
伍 的 。 在 本 例 中 ， 误差 的 平方 和 足够 小 是 指 其 值 小 于 0. 001。 图 6. 11 为 学 习 曲 线 ， 纵 轴 为 误差 的 
平方 和 ， 横 轴 为 训练 使 用 的 周期 数 。 学 习 曲 线 可 以 显示 学 习 的 速度 。 


10! 224 个 周期 的 网 络 误差 平方 和 


误差 的 平方 和 





0 50 100 150 200 
周期 


图 6.11 Exclusive - OR 操作 的 学 习 曲 线 


训练 网 络 执行 Exclusive - OR 操作 使 用 了 224 个 周期 或 896 次 迭代 。 下 面 是 满足 误差 标准 的 


权重 和 靖 值 的 最 终 取 值 : 
wis 24. 7621 ,w,, 26. 3917 ,w,, =4. 7618 ‚w, =6. 3917 jw, = — 10.3788, 
was = 9. 7691,0, =7. 3061,80, 22. 8441 以 及 9, =4. 5589 
网 络 解决 了 这 个 问题 ! 现在 可 以 测试 网 络 ， 把 所 有 的 训练 集 放 到 输入 层 并 计算 网 络 输出 。 结 
果 如 表 6.4 所 示 。 
表 6.4 三 层 网 络 学 习 的 最 终结 果 : 逻辑 操作 Exclusive - OR 
输入 











期 望 输出 y, 实际 输出 ys 误差 e 误差 的 平方 和 
xi X2 
1 1 0 0. 0155 —0. 0155 0. 0010 
0 I 1 0. 9849 0.0151 
1 0 1 0. 9849 0.0151 
0 0 0 0. 0175 —0. 0175 
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初始 化 时 权重 和 阅 值 都 是 任意 设置 的 ， 这 是 否 意味 着 同一 个 网 络 会 找到 不 同 的 解决 方案 

不 同 的 初始 条 件 下 网 络 将 获得 不 同 的 权重 和 阔 值 。 但 是 通过 不 同 次 数 的 迭代 ， 总 能 找到 解 
决 方法 。 例 如 ， 如 果 重 新 训练 网 络 ， 可 以 得 到 如 下 的 解决 方案 : 

w = —6. 3041 ,w,, = —5. 7896 ,w,, =6. 2288 ,w,, =6. 0088 ,w,, =9. 6657, 
w, = —9.4242,0, =3. 3858 ,0, = —2. 8976 以 及 9, = -4.4859 

现在 能 否 画 出 多 层 网 络 Exclusive - OR 操作 的 决策 边界 

要 天 出 应 用 $ 形 激活 函数 的 神经 元 的 决策 边界 是 很 困难 的 。 但 是 可 以 通过 使 用 符号 函数 的 
McCulloch 和 Pitts 模型 表示 隐 含 层 和 输出 层 的 每 个 神经 元 ， 也 可 以 训练 如 图 6. 12 所 示 的 网 络 来 执 
fj Exclusive - OR 操作 (Touretzky and Pomerlean, 1989; Haykin, 2008), 

隐 含 层 中 神经 元 3 和 4 构建 的 决策 边界 的 位 置 
分 别 如 图 6. 13a 和 图 6. 13b 所 示 。 输 出 层 中 的 神经 元 
5 将 两 个 隐 含 层 神经 元 的 决策 边界 进行 线性 合并 ， 如 
图 6. 13e 所 示 。 图 6. 12 所 示 的 网 络 确实 将 黑 点 和 白 
点 分 割 开 了 ， 因 此 解决 了 Exclusive - OR 问题 。 

反 向 传播 的 学 习 方法 是 机 器 学 习 的 好 方法 吗 

虽然 反 向 传播 的 学 习 方 法 得 到 如 此 广泛 的 应 用 ， 
但 是 它 并 不 能 避免 所 有 问题 。 例 如 ， 反 向 传播 学 习 
算法 似乎 不 能 在 生物 领域 发 挥 作用 (Stork, 1989), 
生物 神经 元 不 会 反 向 调整 它们 之 间 的 连接 和 突 触 的 。 四 和 人 AR Tale” OR 操作 的 
" "ds xd s cCulloch - Pitts 模型 表示 的 网 络 
强度 ， 因 此 不 能 将 反 向 传播 学 习 看 做 模拟 人 脑 学 习 
的 过 程 。 











a) 图 6.12 中 隐 含 层 b) 图 6.12 中 隐 含 野 c) 完整 的 三 层 神经 网 络 
神经 元 3 的 决策 边界 神经 元 4 的 决策 边界 确定 的 决策 边界 


图 6.13 多 层 网 络 中 Exclusive-OR 操作 的 决策 边界 


另 一 个 显而易见 的 问题 是 计算 量 巨大 ， 因 而 训练 速度 缓慢 。 事 实 上 ， 纯 粹 的 反 向 传播 算法 在 
实际 中 很 少 应 用 。 

有 一 些 方法 可 以 改善 反 向 传播 算法 的 效率 (Jacobs, 1988; Stubbs, 1990; Caudill, 1991), 
下 面 将 讨论 其 中 的 几 个 方法 。 


6.5 多 层 神 经 网 络 的 加 速 学 习 


如 果 用 双 曲 线 正 切 来 表示 S 形 激 活 未 数 ， 通 常 多 层 神经 网 络 的 学 习 速率 会 加 快 。 


y eh e 2a 
1+e 


Hp a Ab 都 是 常数 。a 和 ”的 合适 取 值 为 =1.716 Al b =0. 667 (Guyon，1991) 。 





(6. 16) 


bx 


i 
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我 们 也 可 以 通过 在 公式 (6.12) 的 delta 规则 中 加 入 动量 常数 来 加 速 训 练 ( Rumelhart et al. , 

1986) 。 
Aw,(p) =B x Aw,(p-1) +axy,(p) x6,(p) (6. 17) 

其 中 6 是 正 数 (0<B <1) ， 称 作 动量 常数 。 通 常 动量 常数 设 为 0.95 。 

公式 (6.17) 也 称 作 通用 delta 规则 ， 在 特殊 情况 下 ， 当 B =0 时 ， 就 得 到 了 公式 (6.12) 的 
delta 规则 。 

为 什么 需要 动量 常数 

根据 Watrous (1987) Fil Jacobs (1988) 所 做 的 研究 ， 在 反 向 传播 算法 中 包含 动量 常数 会 对 
训练 产生 稳定 的 效果 。 换 句 话 说， 包含 动量 常数 使 得 在 垂直 向 下 的 方向 上 有 了 加 速 下 降 的 趋势 ， 
当 学 习 曲 面 出 现 峰 和 谷 时 ， 才 减缓 这 种 趋势 。 

图 6. 14 为 Exclusive - OR 操作 带 有 动量 常数 的 学 习 。 和 纯 反 向 传播 算法 相 比 ， 周 期 数 从 224 
减少 到 了 126。 


10! 126 个 周期 的 训练 


误差 的 平方 和 





0 20 40 60 80 100 120 


图 6. 14 带 有 动量 常数 的 学 习 


在 delta 规则 和 通用 delta 规则 中 ， 我 们 使 用 一 个 较 小 的 常数 来 作为 学 习 速 率 参 数 a， 是 否 可 
以 通过 增加 这 个 值 来 提高 训练 速度 
加 快 反 向 传播 学 习 收 敛 速度 的 最 有 效 的 方法 是 在 训练 过 程 中 调节 学 习 速 率 参数 。 若 学 习 速 
率 参数 a 小 ， 则 在 一 次 次 的 迭代 过 程 中 对 网 络 权重 的 改变 也 很 小 ， 从 而 生成 平滑 的 学 习 曲 线 。 
另 一 方面 ， 如 果 通 过 增加 学 习 速 率 参数 a 来 加 快 训练 过 程 ， 则 权重 的 改变 过 大 可 能 引起 不 稳定 ， 
网 络 也 因此 变 得 振荡 。 
为 了 加 速 收敛 且 避 免 出 现 不 稳定 的 危险 ， 可 以 应 用 两 个 启发 式 方法 (Jacobs, 1988), 
e 启发 式 方法 1: 如 果 在 临近 的 几 个 周期 中 ,误差 平方 和 变化 的 代数 符号 相同 ， 则 应 增加 学 
习 速 率 参数 a 的 值 。 
© 启发 式 方法 2: 如 果 在 临近 的 几 个 周期 中 ,误差 平方 和 变化 的 代数 符号 不 同 ， 则 应 减少 学 
习 速 率 参数 a 的 值 。 
为 了 配合 学 习 速 率 的 改变 ,需要 对 反 向 传播 算法 做 一 些 改变 。 首 先 ， 需要 按 初始 学 习 速 率 参 
数 计算 网 络 的 输出 和 误差 。 如 果 本 周期 中 误差 的 平方 和 大 于 前 一 次 值 的 预先 指定 的 倍数 (通常 
为 1.04) ， 这 时 学 习 速 率 参 数 要 减少 (通常 乘 以 0.7) ， 并 且 计 算 新 的 权重 和 阔 值 。 如 果 误 差 小 
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于 前 一 次 ， 则 增加 学 习 速率 〈 通 常 乘 以 1.05) 。 
图 6. 15 为 使 用 自 适 应 学 习 速率 的 反 向 传播 训练 的 示例 。 这 个 图 说 明 使 用 自 适应 速度 确实 减 
少 了 和 迭代 次 数 。 


103 个 周期 的 训练 


误差 的 平方 和 





学 习 速率 


0 20 40 60 80 100 120 
周期 


图 6.15 使 用 自 适应 学 习 速率 学 习 
自 适应 学 习 速率 可 以 和 动量 常数 一 起 使 用 ， 图 6. 16 显示 了 同时 使 用 这 两 种 技术 的 优势 。 


10! 85 个 周期 的 训练 


误差 的 平方 和 





学 习 速率 


图 6. 16 使 用 动量 常数 和 自 适 应 学 习 速 率 


同时 使 用 动量 常数 和 自 适应 学 习 速 率 显著 提高 了 多 层 反 向 传播 神经 网 络 的 性 能 ， 并 使 网 络 
变 得 振 葛 的 机 会 减 到 最 小 。 

神经 网 络 是 用 来 模拟 大 脑 的 。 但 是 ,大 脑 的 记忆 通过 联想 才能 运转 。 例 如 ， 我们 可 以 在 
100 - 200ms 内 从 不 熟悉 的 环境 中 找到 熟悉 的 面孔 。 在 听 到 音乐 的 一 些 片段 时 ， 我 们 也 能 够 回忆 
起 完整 的 感受 ， 包 括 声 音 和 场景 。 大 脑 可 以 将 片段 组 合 在 一 起 。 
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神经 网 络 可 以 模拟 人 类 记忆 的 联想 功能 吗 
用 反 向 传播 算法 训练 的 多 层 神经 网 络 可 以 用 于 解决 模式 识别 问题 。 但 是 ， 我 们 在 前 面 提 到 ， 
这 样 的 网 络 本 身 并 不 具备 智能 。 为 了 模拟 人 类 记忆 的 联想 功能 ， 需 要 一 个 不 同类 型 的 网 络 : 循环 


神经 网 络 (recurrent neural network) 。 


6.6 Hopfield 网 络 


循环 神经 网 络 带 有 从 输出 到 输入 的 反馈 回路 。 这 种 回路 的 出 现 对 于 网 络 的 学 习性 能 具有 深 
远 的 影响 。 

循环 网 络 如 何 学 习 

使 用 新 的 输入 后 ， 网 络 计 算 输出 ， 并 反馈 ， 以 此 调节 输入 。 之 后 重新 计算 输出 ， 重 复 这 个 过 
程 ， 直 到 输出 变 成 常数 为 止 。 

输出 一 定 能 变 成 常数 四 

连续 的 选 代 不 一 定 能 使 输出 的 改变 越 来 越 小 ， 相 反 ， 可 能 导致 混乱 。 在 这 种 情况 下 ， 网 络 的 
输出 永远 不 会 变 成 常数 ， 可 以 说 网 络 是 不 稳定 的 。 

20 世纪 六 七 十 年 代 ， 很 多 研究 者 对 循环 神经 网 络 的 稳定 性 产生 了 兴趣 ， 但 是 没有 人 能 够 预 
测 什么 样 的 网 络 是 稳定 的 ， 一 些 研究 人 员 对 找到 通用 的 解决 方案 表示 悲观 。 当 John Hopfield 提出 
在 动态 稳定 网 络 中 存储 信息 的 物理 原则 (Hopfield, 1982) 时 ， 这 个 问题 才 在 1982 年 得 到 解决 。 

图 6. 17 所 示 为 包含 = 个 神经 元 的 单 层 Hopfield 网 络 。 每 个 神经 元 的 输出 都 反馈 到 其 他 所 有 
神经 元 的 输入 上 (在 Hopfield 网 络 中 没有 自 反馈 ) 。 

Hopfield 网 络 通 常用 带 有 符号 激活 函数 的 MeCulloch 和 Pitts 神经 元 作为 其 计算 元 素 。 

这 种 函数 如 何 工作 

它 和 图 6.4 所 示 的 符号 函数 的 工作 方式 一 样 。 如 果 神 经 元 的 权重 输入 小 于 0， 则 输出 为 - 1; 
如 果 权 重 输入 大 于 0， 则 输出 为 +1。 然 而 ， 如 果 神 经 元 权重 输入 等 于 0， 则 输出 保持 不 变 ， 换 名 
话说 ， 神 经 元 保持 以 前 的 状态 ， 无 论 是 -1 还 是 +1。 

H1, X0 
MEME (6. 18) 
Y, #X=0 

FERRAT A ete Ro BRR, CH [ -1, 1] 区 间 可 作为 纯 线性 函数 ， 在 

[-1, 1] 区 间 之 外 可 作为 符号 函数 。 饱 和 线性 函数 如 图 6. 18 所 示 。 


饱和 线性 函数 


号 


[As 
E3 
H 


输入 1 





+, XI 
-L E XS-1 








X, É-1«X«1 
y satin — 





图 6. 17 BE n TRES C Hopfield HAMA 图 6.18 饱和 线性 激活 函数 


网 络 的 当前 状态 由 当前 所 有 神经 元 的 输出 y, ，y, ，… ,7 确定。 因此， 对 于 单 层 n 个 神经 元 
的 网 络 ， 状 态 可 由 下 面 的 状态 向 量 定义 : 
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Y= (6. 19) 


Ya 
在 Hopfield 网 络 中 ， 神 经 元 之 间 的 罕 触 权重 通常 以 下 面 的 矩阵 形式 表示 : 
W = s Y, Y? -MI (6. 20) 


zl 


Kh, M 是 网 络 记 忆 的 状态 数目 ， 了 ,是 维 的 二 元 向 量 , IÆ n xn 的 单位 矩阵 ， 上 和 角 标 了 工 表示 
矩阵 转 置 。 
Hopfield 网 络 的 操作 方法 可 以 用 几何 学 来 解释 。 图 6. 19 显示 了 一 个 三 神经 元 网 络 ， 用 三 维 空 
间 的 立方 体 表示 。 通 常 ， 有 个 神经 元 的 网 络 有 2 个 可 能 的 状态 ,与 n 维 超 立 方 体 有 关 。 在 
图 6. 19 中 ， 每 个 状态 用 一 个 顶点 来 表示 。 当 使 用 新 的 输入 向 量 时 ， 网 络 从 一 个 状态 顶点 移动 到 
下 一 个 状态 顶点 ， 直 到 网 络 稳定 为 止 。 
用 什么 可 以 确定 稳定 的 状态 顶点 
稳定 的 状态 顶点 由 权重 和 矩阵 W、 当 前 输入 向 量 了 和 Gii 
矩阵 阔 值 0 确定 。 如 果 输 入 向 量 有 部 分 错误 或 不 完善 的 地 
方 ， 那 么 在 几 次 迭代 后 ， 初 始 状 态 会 收敛 到 稳定 的 状态 CLD 
顶点 。 
例如 ， 假 设 网 络 需 要 记 住 两 个 相反 的 状态 (1, 1, 1) 
和 ( -1, -1, -1)， 那 么 









(del) 


= 


1 =f 
"| "Lj 
1 el 图 6. 19 三 神经 元 Hopfield 网 络 所 有 可 能 
其 中 ，Y,、 了 ,是 三 维 向 量 。 状态 的 立方 体 表示 
我 们 也 可 以 用 行 来 表示 这 些 向 量 ， 即 转 置 向 量 : 
Y-[1 1 1] We[-1 -1 -1] 


100 
i-o 1 | 
00 1 


W=Y Yi +Y,Y; -2I 


1 -1 100 0 2 2 
ZH 1 TRE -1 SEL 1 Ter 0 1 
1 -1 0 0 1 2 2 0 


接 下 来 用 输入 向 量 序列 XX, 和 XX, 来 测试 网 络 ， 夭 ,和 ,分 别 和 输出 (或 目标 ) 向 量 Y, 和 了 ,相等 。 
我 们 希望 看 一 下 网 络 能 否 识别 相似 的 模式 。 

如 何 测试 Hopfield 网 络 

首先 用 输入 向 量 半 来 激活 网 络 ， 然 后 计算 实际 的 输出 向 量 了 Y， 随 后 将 结果 和 初始 输入 向 量 头 
比较 。 


3 x3 的 单位 矩阵 了 为 : 


因此 可 以 确定 权重 矩阵 为 : 
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Y, =sign(WX,-@), mz1,2,-,M (6. 21) 
其 中 ，6 ABEER, 
本 例 中 假设 所 有 的 阐 值 都 为 0。 因 此 ， 


TN 
HR 


ZAR, Y =X, Y,-X,. Alb, RA (1, 1, 1) 和 (-1, -1, -1) 是 稳定 的 。 

其 他 状态 怎么 样 

网 络 中 有 3 个 神经 元 ， 有 8 RERIREISHAGS . ERIS 6 个 状态 都 是 不 稳定 的 。 但 是 ， 稳 定 的 状 
AS (也 称 作 基本 记忆 ) 可 以 吸引 其 周围 的 状态 。 如 表 6. 5 所 示 ， 基 本 记忆 (1, 1, 1) 吸引 了 不 
稳定 状态 ( -1,，1，1) ，(1，-1，1) ，(1，1，-1) 。 这 些 不 稳定 的 状态 与 基本 记忆 (1, 1, 1) 
相 比 ， 只 在 一 个 位 置 上 有 误差 。 另 外 ， 基 本 记忆 (-1, -1, -1) 吸引 了 不 稳定 状态 (-1, 
-1, 1) 、( -1，1，-1)、(1，-1，-1)。 这 再 次 说 明 这 些 不 稳定 状态 和 基本 记忆 相 比 ， 在 一 
个 位 置 上 有 误差 。 因 此 ，Hopfield 网 络 确定 可 以 作为 误差 校正 网 络 。 现 在 总 结 一 下 Hopfield 网 络 
的 训练 算法 。 


以 及 


表 6.5 3 个 神经 元 的 Hopfield 网 络 的 操作 


可 能 的 状态 xn 输入 输出 基本 记忆 











一 局 
= 
=- 


步 又 1 H 存储 。 
n 个 神经 元 的 Hopfield 网 络 需 要 存储 M -SEEAICIZY,, Y,, «+, Y,o Mc i 到 神经 元 j 的 
突 触 权重 计算 方法 是 : 


w, = | 2 Imin EMI (6.22) 
0, i=j 
RP, y, Ally, Je EZ ICTZY, B i SA J 个 元 素 。 神 经 元 间 的 突 触 权重 的 矩阵 表示 为 : 
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W = Fy- 


如 果 权 重 和 矩阵 是 对 称 的 ， RENAR 0, 那么 Hopfield 网 络 可 以 存储 一 系列 基本 记忆 
( Cohen and Grossberg, 1983), 


O wy o Ww; cow, 
y 0 Ut Wy Ut Wan 
W= wa Wa c0 O 09 w, (6.23) 
Waco Wy Ws 0 
其 中 ， Wj = Wyo 
一 旦 计算 好 权重 ,它们 就 保持 不 变 。 
步骤 2: Wit. 


需要 确定 Hopfield 网 络 有 能 力 唤起 所 有 的 基本 记忆 。 换 旬 话 说 ， 网 络 必须 在 将 基本 记忆 Y, 作 
为 输入 时 记 住 它 。 即 


ys, = sign( > Wy Tm 6) 
Hep, y, ,是 实际 输出 向 量 7,, 的 第 i 个 元 素 ， s. BARAT 的 7 个 元 素 。 以 矩阵 表示 为 : 
X,-Y,, m=1,2,.…,M 
Y, gu WX, -8) 
如 果 网 络 可 以 完全 地 记 住所 有 基本 记忆 ， 我 们 就 可 以 执行 下 一 步 。 
GR: 检索 。 
将 一 个 位 置 的 n 维 向 量 ( 探 针 向 量 ) 天 输入 网 络 并 检索 稳定 状态 。 探 针 向 量 一 般 情 况 下 表 
示 混 乱 或 不 完善 的 基本 记忆 ， 也 就 是 说 : 
X#Y,,  m-1,,-,M 
(a) 通过 下 面 的 设置 来 初始 化 Hopfield 网 络 的 搜索 算法 : 
x(0)-2x, jz-1,2,-,n 
并 计算 每 个 神经 元 的 初始 状态 : 
x(0) = sign( Y ws(0) -0), izle 
其 中 ，%,(0) 是 迭代 次 数 p =0 时 探 针 向 量 下 的 第 7 个 元 素 ，y,(0) 是 迭代 次 数 p =0 时 神经 元 i 的 状 
Bo 
以 矩阵 形式 ， 和 迭代 次 数 P=0 时 的 状态 向 量 为 : 
Y(0) =sign[ WX(0) - 0] 
(b) 根据 以 下 规则 ， 更 新 状态 向 量 的 元 素 Y(p): 
yi(p +1) = sign( > wax; (p) - 6,) 


用 于 更 新 的 神经 元 是 异步 选择 的 ， 也 就 是 说 ， 是 随机 的 ， 并 且 每 次 选择 一 个 。 
重复 迭代 过 程 ， 直 到 状态 向 量 不 再 变化 为 止 ， 也 就 是 达到 稳定 状态 为 止 。 稳 定 条 件 可 以 定义 为 : 


yi(p +1) = sign( > w,y;(p) - 0.)， i=1,2,.…,n (6. 24) 


1194 
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或 者 以 矩阵 式 表示 为 : 
Y(p *1) =sign[ WY(p) -0] (6. 25) 
如 果 检 索 是 异步 的 ， 则 Hopfield 网 络 通常 都 能 够 收敛 (Haykin, 2008) 。 但 是 ， 这 个 稳定 状 
态 不 一 定 必 须 是 一 个 基本 记忆 ， 如 果 这 个 状态 就 是 基本 记忆 ， 那 么 也 不 一 定 是 最 接近 的 那个 。 
例如 ， 假 设 要 在 有 五 神经 元 Hopfield 网 络 中 存储 3 个 基本 记忆 : 
X =(+1,+1,+1,+1,+1) 


X,=(+1,-1,+1,-1,+1) 
X,=(-1,+1,-1,+1,-1) 
权重 矩阵 按 公 式 (6.20) E: 
0 -1 3 -1 3 
-1 0 -l 3 -1 
W=| 3 -1 0 -1 3 


-1 3 -1 0 -1 
3 -1 3 -1 0 
假设 探 针 向 量 为 : 
X=(+1,+1,-1,+1, +1) 
RAR BAER ICIZY, 进行 比较 ， 就 会 发 现 两 个 向 量 仅 在 一 位 上 有 差别 。 因 此 ， 我 
们 预测 探 针 向 量 下 会 收敛 到 基本 记忆 思 。 但 是 ， 在 使 用 上 面 描述 的 Hopfield 网 络 训练 算法 时 ， 得 
到 了 不 同 的 结果 。 网 络 通 过 记忆 产生 的 结果 是 记忆 XX,，， 是 错误 的 记忆 。 
这 个 例子 暴露 了 Hopfield 网 络 固 有 的 问题 。 
另 一 个 问题 是 存储 容量 ,或 网 络 可 以 存储 和 正确 检索 的 基本 记忆 的 最 大 数量 。Hopfield HK 
验方 法 (Hopfield，1982) HRE (Ma) 能 够 存储 在 n 神经 元 循环 网 络 中 的 基本 记忆 个 数 是 : 


M,,,, =0. 15n (6. 26) 
我 们 还 可 以 定义 Hopfield 网 络 中 几乎 全 部 基本 记忆 都 可 以 完美 检索 的 存储 容量 为 (Amit，1989): 
mx = zinn (6.27) 
如 果 想 让 所 有 的 基本 记忆 都 可 以 完美 检索 ， 会 发 生 什么 
可 以 看 到 ， 要 想 完美 地 检索 所 有 的 基本 记忆 ， 记 忆 数 量 会 减 半 (Amit, 1989); 
M nan = lna (6.28) 
正如 我 们 所 看 到 的 ，Hopfield 网 络 的 存储 容量 保持 得 较 小 ， 以 便 进 行 基本 记忆 检索 。 这 就 是 


Hopfield 网 络 的 主要 限制 。 

严格 地 说 ，Hopfield 网 络 表现 出 记忆 的 自动 联想 功能 。 换 句 话 说 ，Hopfield 可 以 检索 混乱 或 
不 完整 的 记忆 ， 但 不 能 将 它 与 不 同 的 记忆 联系 起 来 。 

相反 ， 人 类 的 记忆 本 质 上 是 联想 式 的 。 一 件 事情 可 能 提醒 我 们 另 一 件 事 ， 另 一 件 事 再 提醒 另 
一 件 事 ， 依 此 类 推 。 我 们 用 一 连 串 的 相关 记忆 来 回想 起 忘掉 的 记忆 。 例 如 ， 如 果 我 们 想 不 起 来 把 
雨伞 放 在 哪里 了 ， 就 会 试图 回忆 最 后 在 什么 地 方 拿 着 雨 企 ， 在 做 什么 事情 ， 与 谁 在 交谈 。 我 们 试 
图 建立 起 联想 链 ， 从 而 回忆 起 忘掉 的 事情 。 

为 什么 Hopfield 网 络 不 能 这 么 做 

Hopfield 网 络 是 单 层 网 络 ， 因 此 输出 模式 与 输入 模式 所 用 的 神经 元 是 相同 的 。 要 将 一 个 记忆 
和 其 他 记忆 关联 起 来 ， 需 要 一 个 循环 神经 网 络 ， 其 能 够 接收 一 个 神经 元 集合 中 的 输入 模式 并 且 
在 另 一 个 神经 元 集合 上 产生 一 个 相关 的 、 但 与 其 不 同 的 输出 模式 。 实 际 上 ， 需 要 双 层 循环 网 络 ， 
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双向 联想 记忆 。 


6.7 双向 联想 记忆 

双向 联想 记忆 (Bidirectional Associative Memory, BAM) 首先 由 Bart Kosko 提出 ， 是 异 质 联想 
网 络 (Kosko, 1987; 1988) 。 它 将 集合 4 的 模式 和 另 一 个 集合 B 的 模式 关联 起 来 ， 反 之 亦 然 。 和 
Hopfield 网 络 一 样 ， 尽管 输入 含糊 或 不 完善 , 但 BAM 可 以 归纳 并 产生 正确 的 输出 。 
图 6. 20 为 基本 的 BAM 架构 。 它 包含 两 个 完全 连接 的 层 ， 输入 层 和 输出 层 。 





x,(p) x( p*l) 


xp) xp) 
x(p*l) 


x(p) 


x(ptl) 





输入 层 输出 层 
a) 前 向 b) 后 向 


图 6.20 BAM 操作 





BAM 如 何 工作 

如 图 6. 20a Bras, WAE XO) 作用 到 转 置 权重 矩阵 环 - ， 产 生 输 出 向 量 Y(p)。 然 后 输出 
HEY) 作用 到 权重 矩阵 W 产 生 新 的 输入 向 量 革 (p +1)， 如 图 6.20b 所 示 。 重 复 这 个 过 程 ， 
直到 输入 和 输出 向 量 都 不 再 变化 ， 换 句 话说 ，BAM 达到 了 稳定 状态 。 

BAM 方法 的 基本 思想 是 存储 模式 对 ， 当 将 集合 4 中 的 n 维 向 量 对 作为 输入 时 ，BAM 方法 回 
忆 起 集合 B 的 m 维 向 量 Y， 如 果 输 入 为 Y，BAM 方法 就 回忆 起 X. 

RAR BAM, 需要 为 想 要 存储 的 每 个 模式 对 创建 一 个 相关 和 矩阵。 相关 和 矩阵 是 一 个 由 输入 向 
量 互 乘 以 输出 向 量 的 转 置 了 而 得 到 的 矩阵 。BAM 权重 矩阵 是 所 有 相关 矩阵 的 和 ， 即 


W-vxY (6.29) 


其 中 ，M 是 存储 在 BAM 中 的 模式 对 的 数量 。 
和 Hopfield 网 络 一 样 ，BAM 一 般 使 用 带 符号 激活 函数 的 McCulloch 和 Pitts 神经 元 。 
BAM 训练 算法 可 以 表示 如 下 : 


PRI: 存储 。 

BAM 需要 存储 M 对 模式 。 例 如 ， 和 希望 存储 4 对 模式 ， 
1 -i 1 -1 
1 -1 1 -1 
1 -1 -1 1 

EG AX, = 1 X,= -1 X, -1 47 1 
1 -1 ‘1 -1 
1 
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1 -1 1 -1 
Ln EI ZEE r| ] 
1 -1 1 -] 


本 例 中 ，BAM 输入 层 必须 有 6 个 神经 元 ， 输出 层 有 3 个 神经 元 。 


权重 矩阵 的 定义 是 ; 

4 

W-YXY 

m=) 
或 者 
1 -1 1 -1 404 
1 -1 1 -1 4 04 
1 -1 -1 1 0 4 0 

W= 1 1 1 -1 -1 -1 1 -1 1 - -1lz 

QU rus ur J+ i| I+} Q1 1 -= 。 
1 -1 1 -1 404 
1 -1 1 -1 40 4 
步骤 2: 测试 。 


BAM 应 该 能 接收 集合 4 的 任何 向 量 并 检索 集合 B 的 相关 向 量 ， 以 及 接收 集合 B 的 任何 向 量 
并 检索 集合 4 的 相关 向 量 。 因 此 ， 首 先 需 要 确定 当 输 人 为 在 ,时 ，BAM 能 回忆 Y,,， 即 
Y,, -sign(WX.), mz1,2,-,M (6. 30) 
例如 ， 


440 0 4 4 1 1 
Y, =sign( W'X,) = sign [o 0440 o iH 


接 下 来 ,需要 确定 当 输 入 为 Y, 时 ，BAM 能 回忆 X,， 即 


X, =sign(WY,), m=1,2,.…,M (6.31) 
例如 ， 
404 1 
404 1 
. . 0.4 0 1 -] 
X, = sign( WY,) = sign oa ol TINE] 
404 1 1 
404 1 
在 本 例 中 ， 所 有 的 向 量 都 被 准确 无 误 地 回忆 起 来 ， 可 以 进行 下 一 步 。 
HR: 检索 。 


未 知 向 量 ( 探 针 向 量 ) X BAB) BAM 中 ， 检 索 存储 的 关联 记忆 。 探 针 向 量 可 以 表示 存储 在 
BAM 中 来 自 集合 4 (或 集合 B) 的 含糊 、 不 完整 的 模式 。 即 
X#X,,  m-1,2,—,M 
(a) 通过 以 下 设置 来 初始 化 BAM 检索 算法 : 
X(0) =X,p=0 
并 计算 在 第 p 次 迭代 时 BAM 的 输出 : 
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Y(p) =sign[ W'X(p)] 

(b) 更 新 输入 向 量 X (p) : 

X(p *1) =sign [WY(p)] 

38 GR CECBIDACEISE- PED IE, E-CERN, PAM RAHA, fp ACRAS HA 
模式 可 以 成 为 一 个 关联 对 。 

BAM 是 无 条 件 稳定 的 〈Kosko，1992 ) 。 这 就 是 说 任何 相关 的 知识 都 可 以 学 习 ， 没 有 不 稳定 
的 危险 。 之 所 以 有 这 个 重要 的 特性 ， 是 因为 BAM 使 用 前 向 和 后 向 中 的 权重 矩阵 间 的 转 置 关系 。 

间 到 例子 中 ,假设 使 用 向 量 站 作为 探 针 向 量 。 它 和 集合 4 的 模式 XX, 相 比 有 一 个 误差 : 

X=(-1,+1,+1,+1,+1,+1) 
该 探 针 向 量 作为 BAM 的 输入 ， 产 生 了 集合 B 的 输出 向 量 Y,。 将 向 量 Y, 作 为 输入 来 检索 集合 4 中 
AEX, AE, BAM 确实 能 够 进行 误差 校正 。 

BAM 和 Hopfield 网 络 之 间 的 关系 密切 。 如 果 BAM 的 权重 矩阵 是 正方 形 旦 对 称 的 ， WA W= 
W, 在 本 例 中 , 输入 和 输出 层 大 小 相同 ，BAM 就 可 以 简化 成 自 相 关 的 Hopfield 网 络 。 因 此 ， 
Hopfield 网 络 可 以 被 看 做 是 BAM 的 特例 。 

Hopfield 网 络 在 存储 能 力 上 的 限制 也 可 以 扩展 到 BAM。 通 常 ，BAM 存储 的 关联 的 最 大 数目 
不 能 超过 较 小 层 中 的 神经 元 数目 。 男 外 ， 更 严重 的 问题 是 不 正确 的 收 化。BAM 不 会 总 是 产生 最 
接近 的 关联 。 事 实 上 ， 一 个 稳定 的 关联 可 能 只 是 轻微 地 关联 到 初始 输入 向 量 上 。 

BAM 仍 有 很 多 可 以 深入 研究 的 主题 。 尽 管 它 有 缺点 和 限制 ， 但 BAM 仍 是 最 有 用 的 人 工 神经 
网 络 之 一 。 

神经 网 络 在 没有 “老师 ”时 可 以 学 习 吗 

神经 网 络 最 主要 的 特征 就 是 具有 从 环境 中 学 习 的 能 力 ， 通 过 学 习 改 善 性 能 。 到 目前 为 止 ， 我 
们 介绍 的 都 是 有 监督 的 或 主动 的 学 习 一 跟随 外 部 的 “老师 ”或 指导 员 学 习 ， 具 体 表 现形 式 就 
是 为 网 络 提 供 一 系列 的 训练 集 。 但 是 也 存在 另 一 种 类 型 的 学 习 ， 无 监督 学 习 。 

和 有 监督 的 学 习 相 比 ， 无 监督 学 习 或 自 组 织 学 习 不 需要 外 部 的 老师 。 在 训练 期 间 ， 神 经 网 络 
接收 到 许多 不 同 的 输入 模式 ， 发 现 这 些 模式 的 重要 特点 ， 学 习 如 何 将 输入 数据 分 成 合适 的 类 别 。 
无 监督 学 习 倾 向 于 模拟 大 脑 的 神经 生物 组 织 。 

无 监督 学 习 算 法 的 目标 是 快速 学 习 。 事 实 上 ， 自 组 织 神经 网 络 比 反 向 传播 网 络 的 学 习 速 度 
快 ， 因 此 可 以 应 用 于 实时 环境 。 


6.8 自 组 织 神经 网 络 


自 组 织 神经 网 络 在 处 理 预 料 之 外 和 有 变化 的 条 件 时 是 非常 有 效 的 。 这 一 节 里 ,我 们 介绍 
Hebbian 学 习 和 竞争 学 习 ， 这 些 都 是 基于 自 组 织 网 络 的 。 


6.8.1 Hebbian 学 习 


1949 年 ， 神 经 生理 学 家 Donald Hebb 在 生物 学 学 习 方面 提出 了 一 个 关键 思想 ， 就 是 著名 的 Hebb 法 
则 (Hebb, 1949), Hebb 法 则 提出 ， 如 果 神 经 元 i 距 神经 元 7 足够 近 且 能 够 刺激 神经 元 j， 并 重复 这 样 
的 活动 ， 则 两 个 神经 元 之 间 的 突 触 连接 就 会 加 强 ， 神 经 元 7 对 来 自 神经 元 i 的 刺激 就 会 格外 敏感 。 

用 下 面 两 条 规则 来 表示 Hebb 法 则 (Stent, 1973): 

1) 如 果 连 接 两 侧 的 两 个 神经 元 同时 被 激活 ， 那 么 连接 的 权重 就 会 增加 。 

2) 如 果 连 接 两 侧 的 两 个 神经 元 不 是 同时 被 激活 ， 那 么 连接 的 权重 就 会 减少 。 

Hebb 法 则 是 无 监督 学 习 的 基础 。 这 里 的 学 习 是 无 环境 反馈 的 局 部 现象 。 图 6. 21 为 神经 网 络 
中 的 Hebbian 学 习 。 
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图 6.21 神经 网 络 中 的 Hebbian 学 习 


使 用 Hebb 法 则 ， 可 以 用 下 面 的 形式 表达 第 p 次 迭代 时 权重 ww 的 调整 : 
Aw;(p) 2 Fly, (Gp) ,x,(p)] (6. 32) 
HP, F[y,(p), x, (p) ] 是 前 向 突 触 活动 和 后 向 突 触 活动 的 函数 。 
作为 特例 ， 我 们 可 以 按 下 面 的 方式 表示 Hebb 法 则 (Haykin, 2008): 
Aw;(p) = ay,(p)x,(p) (6. 33) 
其 中 ，a 是 学 习 速 率 参数 。 
该 公式 作为 活动 产生 式 规则 ， 它 显示 了 一 对 神经 元 间 突 触 连接 的 权重 改变 和 输入 、 输 出 信 
号 的 产生 是 如 何 关 联 的 。 
Hebbian 学 习 说 明 权 重 只 能 增加 。 换 名 话说 ，Hebb 法 则 允许 增加 连接 强度 ， 但 不 提供 连接 强 
度 减 少 的 方法 。 因 此 ， 重 复 使 用 输入 信号 可 能 导致 权重 wy 饱和 。 要 解决 这 个 问题 ， 可 以 对 突 触 
权重 的 增长 加 以 限制 。 要 达到 此 目的 ， 可 以 在 公式 (6.33) 的 Hebb 法 则 中 加 入 非 线 性 遗忘 因子 
(Kohonen, 1989) : 
Aw, (p) = ay;(p)%;(p) - by;(p)w;(p) (6. 34) 
其 中 ,由 是 遗忘 因子 。 
什么 是 遗忘 因子 
遗忘 因子 $ 指 在 单 次 学 习 循 环 中 权重 的 衰退 。 它 的 范围 一 般 介 于 0 和 1 之 间 。 如 果 遗 忘 因子 
为 0， 则 神经 网 络 仅 能 够 增加 突 触 权重 的 强度 ， 因 此 权重 可 能 增长 到 无 穷 大 。 另 外 ， 如 果 遗 忘 因 
子 接近 1， 网 络 就 几乎 记 不 住 它 要 学 习 的 内 容 。 因 此 ， 应 该 选择 一 个 很 小 的 遗忘 因子 ， 通 常 介 于 
0.01 和 0.1 之 间 ， 在 学 习 中 仅 允 许 微 小 的 遗忘 ， 同 时 限制 权重 的 增加 。 
AX (6.34) 可 以 写成 通用 活动 产生 式 规则 的 形式 : 
Aw;(p) =oy;(p) [Ax;(p) -w;(p)] (6.35) 
其 中 , A = av。 
通用 活动 积 规则 的 含义 是 ， 如 果 在 迭代 次 数 为 p 时 前 向 突 触 激 活 值 (神经 元 的 输入 ) xp) 
INF w,(p)/A, WEERKEH pt+1 时 ， 修 改 后 的 突 触 权重 w,(p+1) 会 减少 ， 其 减少 的 数量 
SERRA p 时 的 后 突 触 激 活 值 ( 神 经 元 的 输出 j) y,(p) 成 正比 。 如 果 x (p) AF w;(p)/A, 
则 在 和 迭代 次 数 为 P+1 时 ,修改 后 的 突 触 权重 w;(p +1) 会 增加 ， 结 果 与 神经 元 j 的 输出 y(p) 成 
正比 。 也 就 是 说 ， 可 以 按 与 wj(z)/A 相同 的 变量 来 确定 需要 改变 的 突 触 权重 的 激活 平衡 点 。 这 
种 方法 可 以 解决 突 触 权重 无 限 增 加 的 问题 。 
下 面 是 通用 Hebbian 学 习 算 法 。 
步骤 1: 初始 化 。 
设置 突 触 权重 和 阅 值 的 初始 值 为 [0, 1] 区 间 的 小 的 随机 值 ， 同 时 给 学 习 速 率 参数 FUR 
BAF 6 设置 一 个 小 的 正 数 。 
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WR. 激活 。 . 
计算 迭代 次 数 为 p 时 神经 元 的 输出 : 
yo = 2, i(p) wilp) - 6, 
HH, n 为 神经 元 输入 的 个 数 ，b 是 神经 元 /的 阔 值 。 
步骤 3: 学 习 。 
更 新 网 络 中 的 权重 : 
w;(p+1)=w,(p) + Aw;(p) 
Kp, Aw,(p) 是 迭代 次 数 为 p 时 的 权重 的 校正 。 
通过 下 面 的 通用 活动 积 规则 计算 权重 的 校正 : 
Aw,(p) = oy,(P) [Ax,(p) -w;,(p) ] 
步骤 4: EK. 
迭代 次 数 p 加 1， 回 到 步骤 2 继续 执行 ， 直 到 突 触 权 重 达 到 稳定 状态 值 为 止 。 
图 6. 22a 显示 了 一 个 单 层 、 有 5 个 计算 神经 元 的 全 连接 反馈 网 络 ， 我 们 通过 这 个 图 来 解释 
Hebbian 学 习 。 每 个 神经 元 都 使 用 带 符 号 激活 函数 的 MeCulloch 和 Pitts 模型 表示 。 网 络 用 下 面 输 
人 向 量 集 的 通用 活动 积 规则 训练 : 


0 0 0 0 0 
0 1 0 0 1 
天 =|0| X,-|0| X,-]0| X,-2|1| 成 =|0 
0 0 1 0 0 
0 1 0 0 1 


其 中 , BAHE X 2SHE. ER, MEX 的 第 4 MAS, AMEX, 的 第 3 个 信号 的 值 为 
1, WX, WX, 中 的 信号 x, Mx, 均 为 1。 

本 例 中 ,初始 权重 和 矩阵 表示 为 5 x5 的 单位 矩阵 1。 因 此， 在 初始 状态 下 ， 输 入 层 的 每 个 神经 
元 和 输出 层 相 同位 置 的 神经 元 相连 ， 突 触 权重 为 1， 与 其 他 神经 元 间 的 突 触 权重 为 0。 闹 值 是 0 
到 1 之 间 的 随机 数 ， 学 习 速 率 参 数 a 和 遗忘 因子 o 的 取 值 分 别 为 0.1 和 0. 02, 

训练 后 (如 图 6. 22b 所 示 ) ， 权 重 和 矩阵 与 初始 单位 矩阵 了 有 所 不 同 。 输 入 层 神 经 元 2 和 输出 
层 神经 元 5 以 及 输入 层 神 经 元 5 和 输出 层 神经 元 2 之 间 的 权重 从 0 增加 到 2.0204。 神 经 网 络 学 习 
到 了 新 的 关联 。 同 时 ， 输 入 层 神 经 元 1 和 输出 层 神经 元 1 之 间 的 权重 变 为 0。 神经 网 络 忽 略 了 这 
个 关联 。 

接 下 来 测试 网 络 。 测 试 的 输入 向 量 (或 探 针 向 量 ) 定义 为 : 

1 


0 
X=|0 
0 
1 


将 探 针 向 量 输入 给 网 络 ， 得 到 : 
Y=sign (WX - 0) 
0 0 0 0 0 1 0. 4940 
0 2.0204 0 0 2. 0204 | 0 0. 2661 
Y-signi]O 0 1.0200 0 0 0 | -| 0. 0907 |$= 
0 0 0 0.9996 0 0 0. 9478 
0 2.0204 0 0 2. 0204 3L 1 0. 0737 


e o Ore cc 
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输出 层 . 输出 层 
OOOO® ©@® © ®@ © 
[i o0 0 o o fi] | o 0 0 0 0 
á 6 1 0 6 ü : 0 2004 0 0 20204 
< 0 0 1 9 0 < 0 0 10200 0 0 
*m o 0 0 1 0 = m| o 0 0 0996 0 
oo g 9 1j 0 20204 0 0 20204 


b) 初始 和 最 终 的 权重 矩阵 
图 6. 22 单 层 神经 网 络 的 无 监督 Hebbian 学 习 


毫 无 疑问 ， 网 络 的 输入 x. 和 输出 y,、y; 关联 起 来 了 ， 因 为 在 训练 中 z. x 是 一 对 。 但 网 络 不 能 
将 输入 x, 和 输出 y, 连接 起 来 ， 因 为 训练 中 单位 输入 x, 没有 出 现 ， 因 此 网 络 将 它 忽略 掉 了 。 


wp 因此 ， 神 经 网 络 确实 能 够 通过 学 习 来 发 现 经 常 同 时 出 现 的 关联 刺激 因素 。 更 重要 的 是 ， 网 络 
204 可 以 在 没有 “老师 ”的 情况 下 自己 学 习 。 
6.8.2 ”竞争 学 习 


另 一 种 常见 的 无 监督 学 习 是 竞争 学 习 。 在 竞争 学 习 中 ， 神 经 元 要 通过 竞争 才能 被 激活 。 在 
Hebbian 学 习 中 ， 几 个 输出 神经 元 可 以 同时 被 激活 ， 而 在 竞争 学 习 中 ,任意 时 刻 仅 有 一 个 输出 神 
经 元 被 激活 。 在 竞争 中 胜出 的 神经 元 叫做 “ 胜 者 通 吃 ”神经 元 。 

竞争 学 习 的 基本 思想 在 20 世纪 70 年 代 初 期 就 被 提出 了 (Grossberg, 1972; von der Malsburg, 
1973; Fukushima，1975) 。 但 是 直到 20 世纪 80 年 代 后 期 ， 这 种 方法 才 引 起 注意 ， 当 时 Teuvo Ko- 
honen 提出 了 一 种 叫做 自 组 织 映 射 〈 Kohonen，1989) 的 特殊 类 型 的 人 工 神经 网 络 ， 这 种 映射 是 
基于 竞争 学 习 的 。 

什么 是 自 组 织 特征 映射 . 

人 脑 是 由 大 脑 皮层 控制 的 ， 大 脑 皮层 是 由 数 十 亿 个 神经 元 和 数 千 亿 的 突 触 组 成 的 ， 结 构 非 
常 复杂 。 大 脑 皮 层 既 不 统一 也 不 均匀 ， 它 包括 许多 区 域 ， 这 些 区 域 通 过 其 厚度 和 其 中 所 包含 的 神 
经 元 的 类 型 加 以 区 分 ,不同 的 区 域 负责 控制 人 类 不 同 的 活动 (如 运动 、 视 觉 、 听 觉 和 体 觉 等 )， 
因此 它 和 不 同 的 感官 输入 是 相连 接 的 。 我 们 可 以 说 ， 每 个 感官 输入 都 会 映射 到 大 脑 皮 层 的 相应 
区 域 ; 换 名 话说 ， 人 类 大 脑 皮层 是 一 个 自 组 织 计算 映射 。 
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可 以 模拟 自 组 织 映 射 吗 

Kohonen 提出 了 拓扑 映射 的 构成 原理 〈Kohonen ，1990) 。 该 原理 表明 ， 拓 扑 映 射 中 输出 神经 
元 的 空间 位 置 和 输入 模式 的 某 个 特征 相对 应 。Kohonen 提出 了 如 图 6.23 所 示 的 特征 映射 模型 
(Kohonen, 1982), 。 这 个 模型 包含 了 大 脑 中 自 组 织 映 射 的 主要 特征 ， 并且 可 以 很 容易 地 在 计算 机 
中 表达 出 来 。 


Kohonen 层 Kohonen 层 










Sa 
SN 
| WM 
WY 





图 6.23 特征 映射 Kohonen 模型 


Kohonen 模型 提供 了 拓扑 映射 ， 这 种 拓扑 映射 将 固定 数目 的 输入 模式 从 输入 层 放置 到 高 维 输 
出 层 (IKEK Kohonen 层 ) 。 在 图 6. 23 中 ，Kohonen 层 包 含 由 4 x 4 神经 元 组 成 的 二 维 网 络 ， 每 个 神 
经 元 有 两 个 输入 。 胜 出 的 神经 元 用 黑色 表示 ， 有 周围 的 神经 元 用 灰色 表示 。 胜 出 神经 元 周围 的 神经 
元 在 物理 上 是 最 接近 胜出 神经 元 的 。 

“物理 上 最 接近 ”是 多 近 

物理 上 最 接近 是 多 近 ， 这 是 由 网 络 设计 人 员 决 定 的 。 胜 出 神经 元 可 能 在 任何 一 边 一 个 、 两 个 
甚至 三 个 位 置 包含 神经 元 。 例 如 ， 图 6.23 中 的 胜出 神经 元 周转 有 一 个 神经 元 。 通 常 ，Kohonen 
网 络 训练 开始 时 ， 胜 出 神经 元 周围 有 大 量 神经 元 。 随 着 训练 过 程 不 断 进行 ， 周 围 神经 元 的 数量 会 
逐渐 减少 。 

Kohonen 网 络 包含 单 层 的 计算 神经 元 ， 但 有 两 种 不 同类 型 的 连接 。 一 种 是 输入 层 神经 
元 到 输出 层 神经 元 的 前 向 连接 ， 另 一 种 是 输出 层 神经 元 间 的 横向 连接 ， 如 图 6.24 所 示 。 
横向 连接 用 来 在 神经 元 之 间 建 立 竞争 。 输 出 层 中 激活 水 平 最 高 的 神经 元 才 会 胜出 〈 即 为 
胜 者 通 吃 神 经 元 ) 。 该 神经 元 是 唯一 产生 输出 信号 的 神经 元 ， 其 他 神经 元 的 活动 会 在 竟 
争 中 被 压制 。 

当 一 个 输入 模式 在 网 络 上 出 现时 ，Kohonen 层 上 的 每 个 神经 元 都 会 接收 到 该 输入 模式 的 完整 
拷贝 ， 并 且 会 被 通过 输入 层 和 Kohonen 层 之 间 的 突 触 连接 权重 上 的 路 径 所 修正 。 横 向 反馈 连接 根 
据 与 获胜 神经 元 之 间 的 距离 产生 刺激 或 抑制 的 效应 。 实 现 这 个 功能 需要 使 用 墨西哥 帽子 函数 
(Mexican hat function) ， 该 函数 描述 了 Kohonen 层 神经 元 间 的 突 触 权重 。 

墨西哥 帽子 函数 是 什么 

图 6. 25 所 示 的 墨西哥 帽子 函数 表示 的 是 胜 者 通 吃 神经 元 之 间 的 距离 和 Kohonen 层 内 的 连接 
的 强度 之 间 的 关系 。 根 据 这 个 函数 ， 最 近 的 邻 域 (短程 的 横向 刺激 区 ) 有 最 强烈 的 刺激 效应 ; 
最 远 的 邻 域 (抑制 的 区 域 ) 有 轻微 的 抑制 效应 ; 很 远 的 邻 域 (抑制 区 域 的 周围 ) 有 很 微弱 的 刺 
激 效应 ， 因 此 通常 被 忽略 。 

在 Kohonen 网 络 中 ， 神 经 元 通过 将 权重 从 未 激活 的 连接 变 为 激活 的 连接 来 学 习 。 只 有 胜出 的 
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神经 元 和 周围 神经 元 可 以 学 习 。 如 果 一 个 神经 元 不 能 响应 给 定 的 输入 模式 ， 这 个 神经 元 就 不 会 


学 习 。 


刺激 效应 





输入 层 输出 层 抑制 效应 抑制 效应 
6.24 Kohonen 网 络 的 架构 图 6.25 边缘 连接 的 墨西哥 帽子 函数 


胜 者 通 吃 神经 元 /的 输出 信号 y 的 值 为 1， 其 余 的 神经 元 (竞争 中 失败 的 神经 元 ) 的 输出 信 
号 的 值 为 0。 
标准 的 竞争 学 习 规 则 (Haykin, 2008) 定义 突 触 权重 w; 的 改变 量 Aw; 为 : 
ini D -w,), 如 果 神 经 元 7 在 竞争 中 胜出 
* [n 如 果 神 经 元 j 在 竞争 中 失败 
Htp, n 为 输入 信号 ，a 为 学 习 速 率 参 数 〈 学 习 速 率 参数 的 取 值 范围 为 0~1) 。 
竞争 学 习 规 则 的 影响 在 于 使 胜出 神经 元 j 的 突 触 权重 向 量 w 向 输入 模式 靠拢。 匹配 准则 
等 于 向 量 间 的 最 小 欧 几 里 得 距离 。 
什么 是 欧 几 里 得 距离 
n x1 的 向 量 天 与 风 间 的 欧 几 里 得 距离 为 : 


(6.36) 


d= [X-WI UY G l^ (6.37) 


其 中 ，% Ho ADHAR XM W, 的 第 i 个 元 素 。 

向 量 XX 和 W, 的 相似 程度 是 欧 几 里 得 距离 4 的 倒数 。 在 图 6.26 rb, EEX A W, 的 欧 几 里 得 
距离 是 这 两 个 向 量 顶 点 间 的 距离。 图 6. 26 WEWE, KLEER h, HE X A W, 就 越 
相似 。 


X 
为 了 确定 与 输入 向 量 X 最 匹配 的 胜出 神经 元 jx， 可 以 使 用 如 X-Fi 
下 条 件 (Haykin, 2008) : > 


Jx =min I X- W, I , Jz21,2,7,m (6.38) 图 6. 26 用 欧 几 里 得 距离 度量 
其 中 , m Æ Kohonen 层 神 经 元 的 数量 。 Fri X Al W, 的 相似 性 
Hin, BERK ESSAIS] BE X Hi AB = RES 7G Kohonen 网 络 中 : 
0. 52 
x-| 

0. 12 

初始 权重 向 量 W 为 : 
--[ w=[ W, = | 
0.81 0. 70 0. 21 


用 最 小 欧 几 里 得 距离 来 确定 胜出 (最 匹配 ) 的 神经 元 jx: 
d, = /(x, -w,)! + (x, -w4)? = /(0. 52 0.27)? + (0.12 -0. 81)? =0.73 
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d, = f(x, —wy)? + (x, — wy)? = V(0.52 -0. 42)? + (0.12 -0. 70)? =0. 59 


d, = J (x, -wa) + (x, -w) = / (0.52 —0. 43)? + (0. 12 -0. 21)? =0. 13 

因此 ， 神 经 元 3 胜出 ， 根 据 公式 (6.36) 的 竞争 学 习 规 则 ， 对 权重 向 量 W, 进行 更 新 。 假 设 

学 习 速率 参数 a 为 0.1， 则 可 以 得 到 : 
© Awa =a(x, -w,,) =0. 1(0. 52 —0. 43) =0.01 
Aw,, = a(x, -w4) =0.1(0.12 -0.21) = -0.01 

在 迭代 次 数 为 p+1 时 ， 权 重 向 量 W, 更 新 为 : 
0.43 0.01, [0.44 
0.21] +| -o.oil -[o.20 
通过 每 次 迭代 ， 胜 出 的 神经 元 3 的 权重 向 量 W, AAR SX SKIT. 
下 面 总 结 一 下 竞争 学 习 算 法 (Kohonen, 1989), 


W,(p +1) =W,(p) +AW,(p) =| 


步骤 1: 初始 化 。 
用 介 于 0 ~1 之 间 的 随机 数 对 突 触 权重 进行 初始 化 设置 ， 将 学 习 速 率 参数 a 设 为 一 个 小 的 
正 数 。 


步骤 2: 激活 和 相似 匹配 。 
用 输入 向 量 下 激活 Kohonen 网 络 ， 在 迭代 次 数 为 p 时 ， 用 最 小 欧 几 里 得 距离 找到 胜出 (最 佳 
匹配 ) 的 神经 元 jx: 


je(p) = nin X - Wt = [Xm] e jm nmum 
其 中 ，n 为 输入 层 的 神经 元 数量 ，m 为 输出 层 〈 即 Kohonen 层 ) 的 神经 元 数量 。 
步骤 3: FY, 
更 新 突 触 权重 ， 


w,(p+1) 2w;(p) + Aw,(p) 
Ep, Aw(p) BERK p 时 的 权重 校正 量 。 
权重 校正 量 由 竞争 学 习 规则 确定 : 
a[x,-w,(p)], jeA,(p) 
av) =f, je A) 
HEt, a 是 学 习 速 率 参数 ，A,(p) 是 胜出 神经 元 jx 在 迭代 次 数 为 了 时 的 邻 域 函数 。 
邻 域 函数 A 通常 有 一 个 常数 幅 值 。 这 说 明 所 有 位 于 拓扑 邻 域 的 神经 元 同时 被 激活 ， 神 经 元 
间 的 关系 和 到 胜出 神经 元 jj 的 距离 是 无 关 的 。 邻 域 函 ewan 
数 的 简单 形式 如 图 6. 27 所 示 。 1 
矩形 邻 域 函数 A 有 二 值 特征 ， 因 此 可 以 用 以 下 
方式 表示 神经 元 输出 : 
1, jeA,(p) toat 
"lo, jeu (6.40) ° 
JURA. ER, 
迭代 次 数 p 加 1， 回 到 步骤 2 继续 进行 ， 直 到 满足 最 小 欧 几 里 得 距离 ， 或 在 特征 映射 中 没有 
显著 改变 为 止 。 
可 以 使 用 由 100 个 神经 元 排列 成 10 行 10 列 的 二 维 网 格 构成 的 Kohonen 网 络 来 说 明 竞 争 学 


(6. 39) 








图 6.27 ”和 矩形 邻 域 函数 


210 
i 
211 
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习 。 这 个 网 络 用 来 对 二 维 输入 向 量 进行 分 类 ， 换 名 话说， 网 络 中 的 每 个 神经 元 仅 对 邻近 的 输入 向 
量 作 出 响应 。 

网 络 用 1000 个 二 维 输入 向 量 进行 训练 ， 输 入 向 量 是 在 -1 ~ +1 的 正方 形 范围 内 随机 产生 
的 。 初 始 突 触 权重 向 量 也 设 为 -1 ~ +1 间 的 随机 值 ， 学 习 速率 参数 a 的 取 值 为 0. 1。 

图 6. 28 显示 了 网 络 学 习 过 程 的 不 同 阶段 。 每 个 神经 元 用 一 个 黑 点 来 表示 ， 坐 标 分 别 为 权重 
wy 和 wy。 图 6.28a 为 随机 分 布 在 正方 形 区 域 的 初始 突 触 权 重 。 图 6. 28b 、 图 6. 28c 和 图 6. 28d 分 
别 表 示 经 过 100, 1000 和 10 000 次 和 迭代 后 输入 空间 中 权重 向 量 的 情况 。 
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图 6. 28 Kohonen 网 络 中 的 竞争 学 习 


图 6. 28 显示 的 结果 证 明了 Kohonen 自 组 织 网 络 无 监督 学 习 的 特征 。 在 学 习 过 程 的 最 后 ， 神 
经 元 按 正 确 的 顺序 排列 并 置 于 整个 输入 空间 中 。 每 个 神经 元 在 自己 的 输入 空间 中 都 能 够 识别 输 
人 向 量 。 

通过 使 用 下 面 的 输入 向 量 来 测试 网 络 ， 以 展示 神经 元 是 如 何 响应 的 : 


0.2 0.6 -0. 
X -[, 5 x, =| -0.2 x,-[ P 


如 图 6.29 所 示 ， 神 经 元 6 响应 输入 向 量 X,, ， 神 经 元 69 响应 输入 向 量 X,, ， 神 经 元 92 响应 输入 向 
EX. Dit, 图 6.29 显示 的 输入 空间 的 特征 映射 是 拓扑 排序 的 ， 网 格 中 神经 元 的 空间 位 置 与 输 
入 模式 的 某 个 特征 相对 应 。 


6.9 
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图 6. 29 输入 空间 显示 的 拓扑 排序 特征 映射 


小 结 


在 本 章 中 ,我 们 介绍 了 人 工 神经 网 络 并 讨论 了 与 机 器 学 习 有 关 的 基本 思想 ; 阐述 了 作为 简 
单 计 算 单元 的 感知 器 的 概念 ， 并 讨论 了 感知 器 的 学 习 规 则 ; 还 探索 了 多 层 神经 网 络 ， 并 探讨 了 如 
何 提高 反 向 传播 学 习 算 法 的 计算 效率 ; 接 下 来 介绍 了 循环 神经 网 络 ， 考 虑 了 Hopfield 网 络 训练 算 
法 和 双向 联想 记忆 (BAM); 最 后 ， 我 们 介绍 了 自 组 织 神经 网 络 ， 并 探索 了 Hebbian 学 习 规 则 和 
竞争 学 习 。 

本 章 中 最 重要 的 内 容 是 : 


机 器 学 习 涉及 适应 性 机 制 ， 使 得 计算 机 能 够 从 经 验 、 实 例 、 类 比 中 学 习 。 随 着 时 间 的 推移 ， 
学 习 能 力 可 以 提升 智能 系统 的 表现 性 能 。 机 器 学 习 最 常用 的 方法 之 一 就 是 人 工 神经 网 络 。 
人 工 神经 网 络 由 一 些 非 常 简单 并 高 度 互联 的 ， 被 称 作 神 经 元 的 处 理 器 组 成 ， 这 和 人 脑 中 
的 生物 神经 元 类 似 。 神 经 元 之 间 通 过 带 权重 的 链接 相连 ， 信 号 在 这 些 链接 上 从 一 个 神经 
元 传递 到 另 一 个 神经 元 。 每 个 链接 都 有 一 个 与 之 相关 的 数值 权重 。 权 重 是 人 工 神 经 网 络 
中 长 期 记忆 的 基本 概念 。 它 们 表达 了 每 个 神经 元 输入 的 强度 或 重要 性 。 神 经 网 络 通 过 不 
断 调 整 这 些 权重 来 学 习 。 

20 世纪 40 年代，Warren McCulloch 和 Walter Pitts 提出 了 一 个 简单 的 神经 元 模型 ， 它 现在 
依旧 是 大 多 数 人 工 神经 网 络 的 基础 。 神 经 元 计算 输入 信号 的 权重 总 和 ， 并 将 结果 和 阅 值 
比较 。 如 果 网 络 的 净 输 入 小 于 阅 值 ， 则 神经 元 的 输出 为 -1。 如 果 网 络 的 净 输 入 大 于 或 等 
于 阅 值 ， 则 神经 元 被 激活 ， 且 输出 为 +1。 

Frank Rosenblatt 推荐 了 一 种 叫做 感知 器 的 最 简单 的 神经 网 络 。 感 知 器 的 操作 是 基于 Mc- 
Culloch 和 Pitts 神经 模型 的 。 它 包含 一 个 带 有 可 调整 突 触 权 重 的 神经 元 和 硬 限 幅 器 。 感 知 
器 通过 对 权重 的 微调 来 减少 实际 输出 和 期 望 输出 的 差别 ， 从 而 进行 学 习 。 初 始 权 重 是 随 
机 指定 的 ， 然 后 通过 调整 权重 ， 得 到 和 训练 实例 一 致 的 输出 。 

感知 器 仅仅 能 够 学 习 线 性 可 分 函数 ， 不 能 在 仅 学 习 局 部 实例 的 基础 上 进行 全 局 推广 。 
Rosenblatt 感知 器 的 局 限 可 以 通过 改进 神经 网 络 的 形式 来 克服 ， 例 如 ， 用 反 向 传播 算法 训 
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练 的 多 层 感 知 器 。 

多 层 感 知 器 是 一 个 前 馈 神 经 网 络 ， 含 有 来 源 神 经 元 的 输入 层 、 至 少 一 个 计算 神经 元 的 中 
间 层 或 隐 含 层 和 一 个 计算 神经 元 输出 层 。 输 入 层 从 外 界 接 收 输入 信号 ， 并 将 信和 号 重新 分 
配给 中 间 层 的 所 有 神经 元 。 隐 含 层 检查 特征 ， 该 层 的 神经 元 权重 表示 输入 模式 的 特征 。 
输出 层 建 立 整个 网 络 的 输出 模式 。 

多 层 神 经 网 络 的 学 习 过 程 和 感知 器 是 一 样 的 。 学 习 算 法 有 两 个 阶段 。 首 先 向 网 络 输入 层 
输入 训练 模式 ， 网 络 一 层 层 地 传送 这 个 模式 ， 直 到 输出 层 产 生 输 出 模式 为 止 。 如 果 和 期 
望 输出 不 同 ， 则 计算 误差 ， 并 将 误差 从 输出 层 传送 到 输入 层 。 在 传送 误差 时 改变 权重 
的 值 。 

虽然 得 到 了 广泛 的 应 用 ， 但 反 向 传播 学 习 方 法 也 不 是 没有 任何 问题 。 由 于 计算 量 巨大 ， 
因此 训练 速度 缓慢 ， 纯 粹 的 反 向 传播 算法 在 实际 中 很 少 应 用 。 有 了 几 种 方法 可 以 改善 计算 
的 效率 。 例 如 ， 用 双 曲 正切 函数 来 表示 S 形 函 数 时 ， 多 层 神经 网 络 的 学 习 速 率 会 提高 很 
多 。 使 用 动量 常数 和 自 适 应 学 习 速 率 也 会 显著 提升 多 层 反 向 传播 神经 网 络 的 性 能 。 

当 多 层 反 向 传播 神经 网 络 用 于 模式 识别 问题 时 ， 可 用 循环 网 络 来 模拟 人 类 的 联想 记忆 。 
循环 网 络 是 指 从 输出 层 到 输入 层 有 反馈 循环 的 网 络 。John Hopfield 首次 提出 了 在 动态 稳 
定 网 络 中 存储 信息 的 理论 ， 并 且 还 提出 了 一 个 使 用 包含 符号 激活 函数 的 MeCulloch 和 Pitts 
神经 元 的 单 层 循环 神经 网 络 。 

Hopfield 网 络 训练 算法 有 两 个 基本 的 阶段 : 存储 和 检索 。 在 第 一 个 阶段 中 ， 网 络 需要 存储 
一 系列 由 所 有 神经 元 的 当前 输出 确定 的 状态 ， 或 称 作 基本 记忆 。 这 是 通过 计算 网 络 的 权 
重 和 矩阵 来 实现 的 。 权 重 一 旦 被 计算 出 ， 就 会 保持 不 变 。 在 第 二 个 阶段 中 ， 未 知 的 、 含 糊 
的 或 不 完整 的 基本 记忆 会 被 输入 到 网 络 中 ， 然 后 计算 网 络 输出 并 进行 反馈 ， 以 便 调整 输 
人 。 这 个 过 程 将 会 一 直 重 复 ， 直 到 输出 为 一 个 常数 为 止 。 要 使 得 基本 记忆 能 够 被 检索 ， 
Hopfield 网 络 就 应 该 保持 较 小 的 存储 容量 。 

Hopfield 网 络 表示 的 是 一 种 自 相 关 的 记忆 。 它 可 以 检索 含糊 或 不 完整 的 记忆 ， 但 是 不 能 将 一 
个 记忆 和 其 他 记忆 联系 起 来 。 为 了 克服 这 个 限制 ，Bart Kosko 提出 了 双向 联想 记忆 (BAM), 
BAM 是 一 种 异 质 相关 网 络 ， 它 将 一 个 集合 的 模式 和 男 一 个 集合 的 模式 关联 起 来 ， 反 之 亦 然 。 
就 像 Hopfield 网 络 一 样 ，BAM 在 输入 是 含糊 的 或 不 完整 的 情况 下 ， 仍 能 进行 推广 并 产生 正 
确 的 输出 。 基 本 的 BAM 架构 包含 两 个 完全 互 连 的 层 : 输入 层 和 输出 层 。 

BAM 的 基本 思想 是 存储 模式 对 。 因 此 ， 当 输入 为 集合 4 PH n 维 向 量 素 时 ，BAM 便 会 回忆 
起 集合 8 中 的 m 维 向 量 Y; 而 当 输 入 为 向 量 了 时 ，BAM 则 会 回忆 起 输出 向 量 X. Hopfield 
存储 容量 的 限制 也 可 以 扩展 到 BAM 中 。BAM 中 存储 的 关联 的 数量 不 能 超过 较 小 层 中 神经 元 
的 数量 。 另 一 个 问题 是 不 正确 的 收敛 ， 也 就 是 说 ，BAM 不 总 是 能 产生 最 接近 的 关联 。 
与 有 监督 学 习 ( 即 有 “老师 ”把 训练 集 输入 网 络 中 来 学 习 ) 不 同 ， 无 监督 学 习 或 自 组 织 
学 习 不 需要 老师 。 在 训练 期 间 ， 神 经 网 络 收 到 许多 不 同 的 输入 模式 ， 然 后 分 析 它 们 显著 
的 特点 ， 并 学 习 如 何 将 输入 进行 分 类 。 

Hebb 法 则 由 Donald Hebb 在 20 世纪 40 年代 后 期 提出 。 这 个 法 则 说 明 ， 如 果 神 经 元 i 和 神 
经 元 j 之 间 足 够 近 ， 以 至 i 可 以 刺激 7 并且 重 复 地 参加 j 的 活动 ， 则 这 两 个 神经 元 之 间 的 
突 触 连接 就 会 加 强 ， 并 且 神 经 元 j 对 来 自 神经 元 i 的 刺激 也 更 加 敏感 。 该 法 则 是 无 监督 学 
习 的 基础 。 这 里 的 学 习 是 没有 来 自 环境 反馈 的 局 部 现象 。 

另 一 个 常见 的 无 监督 学 习 是 竞争 学 习 。 此 时 ， 神 经 元 通过 相互 竞争 来 激活 。 输 出 神经 元 
是 竞争 中 的 胜出 者 ， 也 叫做 “ 胜 者 通 吃 ”的 神经 元 。 虽 然 在 20 世纪 70 年 代 早 期 就 提出 
了 竞争 学 习 ， 但 一 直 被 忽略 ， 直 到 80 年 代 后 期 Teuvo Kohonen 提出 了 人 工 神经 网 络 的 一 
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个 特殊 类 别 一 一 自 组 织 特征 映射 ， 这 种 情况 才 得 以 改观 。 他 明确 阑 述 了 拓扑 映射 的 原理 ， 
说 明了 在 拓扑 映射 中 输出 神经 元 的 空间 位 置 和 输入 模式 的 某 个 特征 相关 联 。 

Kohonen 网 络 由 单 层 的 计算 神经 元 组 成 ， 但 存在 两 种 不 同类 型 的 连接 ， 即 输入 层 神 经 元 到 
输出 层 神 经 元 的 前 向 连接 ， 以 及 输出 层 神 经 元 之 间 的 横向 连接 。 其 中 ， 后 者 用 于 创建 神 
经 元 间 的 竞争 。 在 Kohonen 网 络 中 ， 神 经 元 通过 从 非 激 活 状态 到 激活 状态 的 变化 来 改变 
权重 进行 学 习 。 仅 胜出 的 神经 元 及 其 邻居 允许 学 习 。 如 果 神 经 元 对 给 定 的 输入 模式 没有 
响应 ， 那 么 这 个 神经 元 就 不 会 进行 学 习 。 


复习 题 


1. 


7. 
8. 
9. 


人 工 神经 网 络 如 何 模拟 人 脑 ? 描述 两 种 主要 的 学 习 范 例 : 有 监督 学 习 和 无 监督 〈 自 组 织 ) 学 
习 。 两 种 范例 有 何 区 别 ? 


. 把 感知 器 作为 生物 模型 时 存在 什么 问题 ? 感知 器 如 何 学 习 ? 说 明 感 知 器 学 习 二 值 还 辑 函 数 OR 


的 学 习 过 程 。 为 什么 感知 器 仅 可 以 学 习 线性 可 分 函数 ? 


.什么 是 全 连接 多 层 感知 器 ? 请 构建 一 个 有 6 个 神经 元 的 输入 层 、4 个 神经 元 的 隐 含 层 和 2 个 神 


经 元 的 输出 层 的 多 层 感 知 器 。 隐 含 层 的 用 途 是 什么 ? 隐 含 了 什么 ? 


.多 层 神经 网 络 如 何 学 习 ? 推导 反 向 传播 训练 算法 。 说 明 多 层 网 络 学 习 二 值 逻 辑 函 数 Exclusive - 


OR 的 过 程 。 


. 反 向 传播 学 习 算 法 的 主要 问题 是 什么 ? 在 多 层 神 经 网 络 中 如 何 加 快 学 习 速 度 ? 定义 通用 delta 规则 。 
. 什么 是 循环 神经 网 络 ? 它 如 何 学 习 ? 构建 一 个 有 6 个 神经 元 的 Hopfield 网 络 并 解释 其 操作 过 


程 。 什 么 是 基本 记忆 ? 

推导 Hopfield 网 络 训 练 算法 。 说 明 如 何在 有 6 个 神经 元 的 Hopfield 网 络 中 存储 3 个 基本 记忆 。 
delta 规则 和 Hebb 法 则 是 两 种 神经 网 络 的 学 习 方 法 ， 比 较 两 种 方法 的 不 同 之 处 。 

记忆 的 自 相关 和 异 相 关 类 型 间 的 差别 是 什么 ? 什么 是 双向 联想 记忆 (BAM)? BAM 如 何 工作 ? 


10. 推导 BAM 训练 算法 。BAM 存储 容量 有 什么 限制 ? 比较 BAM 和 Hopfield 网 络 的 存储 容量 。 
11. Hebb 法 则 是 怎样 表达 的 ? 推导 活动 积 规则 和 通用 活动 积 规则 。 以 往 因子 的 含义 是 什么 ? 推 


导 通 用 Hebb 学 习 法 则 。 


12. 什么 是 竞争 学 习 ? Hebbian 学 习 和 竞争 学 习 间 的 差别 是 什么 ? 描述 特征 映射 Kohonen 模型 。 


推导 竞争 学 习 算法 。 
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本 章 介绍 进化 计算 ， 包 括 遗 传 算 法 、 进 化 策略 和 遗传 编程 以 及 它们 在 学 习 中 的 应 用 。 


7.1 进化 是 智能 的 吗 

智能 可 以 定义 为 系统 调整 自身 行为 来 适应 不 断 变化 的 环境 的 能 力 。 根 据 Alan Turing 的 观点 
(Turing, ，1950) ， 系 统 的 形态 或 外 观 和 智能 是 没有 关系 的 。 但 是 ， 根 据 常识 ,我 们 知道 智能 行为 
的 迹象 在 人 类 社会 中 是 很 容易 观察 到 的 。 我 们 本 身 就 是 进化 的 产物 ， 因 此 通过 模拟 进化 的 过 程 ， 
我 们 可 以 期 待 创建 出 智能 的 行为 。 进 化 计算 就 是 在 计算 机 上 模拟 进化 过 程 。 模 拟 的 结果 是 基于 
简单 规则 的 一 系列 最 优化 算法 。 最 优化 迭代 改进 解决 方案 的 质量 ， 直 到 找到 最 理想 的 ， 至 少 是 最 
可 行 的 解决 方案 。 

但 进化 真 的 是 智能 的 吗 ? 我 们 可 以 考虑 一 个 单 组 织 生 物体 的 行为 ， 归 纳 推理 出 其 环境 中 不 
为 人 知 的 方面 (Fogel et al. ，1966) 。 如 果 经 过 连续 儿 代 的 繁 街 ， 这 种 生物 体 存活 了 下 来 ， 就 可 
以 说 这 种 生物 体 有 学 习 的 能 力 ， 可 以 预知 环境 的 变化 。 从 人 类 的 角度 来 看 ， 进 化 是 一 个 非常 缓慢 
而 曲折 的 过 程 ， 但 在 计算 机 中 模拟 进化 不 会 花 上 几 十 亿 年 ! 

机 器 学 习 的 进化 方法 基于 自然 选择 和 遗传 的 计算 模型 。 我 们 称 之 为 进化 计算 ， 它 是 结合 了 遗传 算 
法 、 进 化 策略 和 遗传 编程 的 术语 。 所 有 这 些 技 术 都 是 通过 使 用 选择 、 突 变 和 繁殖 过 程 来 模拟 进化 的 。 


7.2 模拟 自然 进化 

1858 年 7 H 1 日， 查尔斯 * 达尔 文 在 伦敦 林 奈 学 会 发 表 了 他 的 进化 理论 。 这 一 天 标志 着 生 
物 学 革命 的 开始 。 达 尔 文 的 经 典 进化 理论 ， 魏 斯 曼 的 自然 选择 理论 以 及 孟 德 尔 的 遗传 学 概念 一 
起 构成 了 现在 的 新 达尔 文 主义 (Mayr, 1988; Gould and Keeton, 1996), 

新 达尔 文 主义 的 基础 是 繁殖 、 突 变 、 竞 争 和 选择 过 程 。 繁 殖 能 力 是 生命 最 本 质 的 特征 。 突 变 
能 力 保 证 了 生物 体能 在 不 断 变 化 的 环境 中 繁殖 。 因 为 自然 界 的 有 限 空间 限制 了 物种 的 扩张 ， 竟 
争 和 选择 过 程 通常 发 生 在 自然 界 。 

如 果 在 计算 机 中 模拟 进化 的 过 程 ， 那 么 在 自然 界 的 生命 中 ,什么 可 以 通过 进化 来 优化 呢 ? 进 
化 是 一 个 维护 或 增加 种 群 在 特定 环境 中 生存 和 繁殖 能 力 的 过 程 ( Conner and Harl ，2004) 。 这 种 
能 力也 称 为 进化 适应 性 。 虽 然 不 能 对 适应 性 进行 直接 测量 ,但 可 以 通过 环境 中 群体 的 生态 学 和 
功能 形态 学 对 其 进行 估计 (Hofftman，1989)。 进 化 适应 性 也 可 以 看 做 对 群体 预见 环境 变化 的 能 力 
的 度量 (Atmar，1994)。 因 此 ， 适 应 性 《或 预见 变化 ) ， 并 充分 做 出 反应 ， 对 这 一 功能 的 定量 度 
量 ， 可 以 被 看 做 是 自然 生命 具有 的 可 以 优化 的 品质 。 

我 们 可 以 使 用 适应 性 拓扑 的 概念 来 说 明 适 应 性 (Wright，1932)。 用 地 形 图 来 表示 一 个 给 定 
的 环境 ， 每 个 山峰 代表 物种 的 适应 性 极 值 。 在 进化 过 程 中 ， 给 定 种 群 的 每 个 物种 沿 着 斜坡 向 山峰 
前 进 。 随 着 时 间 的 推移 ， 环 境 条 件 不 断 发 生变 化 。 因 此 ， 物 种 必须 不 断 地 调整 它们 的 路 线 。 最 
后 ， 只 有 最 适应 的 物种 才能 到 达 山 峰 。 

适应 性 拓扑 是 一 个 连续 函数 。 它 模拟 的 环境 或 自然 拓扑 不 是 静态 的 。 随 着 时 间 的 推移 ， 拓 扑 
形状 发 生 改 变 ， 所 有 的 物种 要 不 断 地 经 历 选 择 。 进 化 的 目标 就 是 产生 适应 性 增加 的 后 代 。 

但 是 如 何 繁殖 适应 性 不 断 增 加 的 个 体 呢 ?Michalewicz (1996) 基于 兔子 种 群 作 了 一 个 简单 的 
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解释 。 有 一 些 兔子 跑 得 比较 快 ， 由 于 它们 在 逃避 狐狸 的 追捕 中 存活 下 来 并 且 继 续 繁 殖 的 机 会 更 
大 ， 因 此 可 以 说 这 些 兔子 在 适应 性 上 具有 优势 。 当 然 ， 一 些 跑 得 慢 的 免 子 也 可 以 存活 下 来 。 因 
此 ， 跑 得 慢 的 兔子 和 快 的 兔子 、 跑 得 慢 的 兔子 之 间 以 及 跑 得 快 的 兔子 之 间 都 可 以 繁殖 。 换 句 话 
说 ， 繁 殖 使 这 些 兔子 的 基因 相 混合 。 如 果 双 亲 都 有 较 强 的 适应 性 ， 那 么 在 基因 混合 后 ， 遗 传 给 下 
一 代 良好 适应 性 的 机 会 就 很 大 。 随 着 时 间 的 推进 ， 兔子 这 个 种 群 能 跑 得 更 快 ， 以 适应 狐狸 的 威 
胁 。 但 是 ， 环 境 条 件 的 改变 同时 对 肥胖 但 聪明 的 兔子 也 有 利 。 为 了 达到 最 优 的 生存 ， 兔 子 种 群 的 
遗传 结构 也 相应 地 变化 。 同 时 ， 跑 得 快 的 兔子 和 聪明 的 兔子 也 导致 狐狸 变 得 更 快 更 聪明 。 自 然 进 
化 是 持续 的 、 没 有 终点 的 过 程 。 

是 否 可 以 在 计算 机 中 模拟 自然 进化 的 过 程 

现在 已 经 有 了 几 种 进化 计算 的 方法 ， 它 们 都 是 模拟 自然 进化 的 。 这 些 方法 通常 都 是 先 创 建 
某 个 个 体 的 种 群 ， 然 后 评估 其 适应 性 ， 最 后 通过 基因 操作 产生 新 的 种 群 ， 再 将 这 个 过 程 重 复 一 定 
的 次 数 。 但 可 以 用 不 同 的 方法 来 实现 进化 计算 。 我 们 可 以 从 遗传 算法 〈GA) 开始 ， 因 为 大 多 数 
其 他 的 进化 算法 都 可 以 看 做 是 CA 的 变 体 。 

在 20 世纪 70 年 代 早期 ， 进 化 计算 的 创始 人 之 一 John Holland 提出 了 遗传 算法 的 概念 ( Hol- 
land，1975) 。 他 的 目标 是 让 计算 机 完全 模拟 自然 界 。 作 为 计算 机 科学 家 ，Holland 的 遗传 算法 用 
一 系列 程序 步骤 来 表示 将 人 造 “ 染 色 体 ”的 一 个 种 群 进化 到 另 一 个 种 群 的 过 程 。 该 算法 使 用 
“自然 ”选择 机 制 和 遗传 学 的 交叉 、 突 变 机 制 。 每 个 染色 体 包 含 许 多 的 “基因 ”， 每 个 基因 用 0 
或 1 表示 ， 如 图 7. 1 所 示 。 


[oolilololololololol 


图 7.1 人 工 娄 色 体 的 16 位 二 进 制 数字 串 


虽然 没有 外 界 告知 该 如 何 做 ， 自 然 界 本 身 就 具有 适应 环境 并 且 学 习 的 能 力 。 也 就 是 说 ， 自 然 
界 是 盲目 地 寻找 优秀 染色 体 的 。 遗 传 算 法 也 这 么 做 。 将 遗传 算法 和 问题 联系 在 一 起 的 两 种 机 制 
是 : 编码 和 评估 。 

在 Holland 的 工作 中 ,用 0 和 1 的 数字 串 来 表示 染色 体 ， 进 而 实现 对 其 编码 。 虽 然 人 们 也 发 
明了 很 多 其 他 的 编码 技术 (Goldberg and Sastry, 2010) ， 但 没有 一 种 技术 能 够 适用 于 所 有 的 问题 。 
目前 ， 位 串 仍 是 最 通用 的 技术 。 

评估 函数 用 来 评估 染色 体 的 表现 性 能 或 适应 性 〈 遗 传 算法 中 的 评 佑 函数 和 自然 进化 中 环境 
的 作用 相同 ) 。 遗 传 算法 通过 测量 染色 体 个 体 的 适应 性 来 完成 繁殖 。 在 繁殖 时 ， 交 叉 操 作 交换 两 
个 染色 体 中 的 一 部 分 ， 突 变 操 作 改变 染色 体 上 某 个 随机 位 置 的 基因 值 。 因 此 ， 在 经 过 数 次 连续 的 
繁殖 后 ， 适 应 性 较 弱 的 染色 体 就 会 灭绝 ， 而 适应 性 最 强 的 染色 体 逐 渐 统 治 了 种 群 。 这 是 一 个 简单 
的 方法 ， 但 即使 是 最 拙劣 的 繁殖 机 制 也 能 显示 出 高 度 复杂 的 行为 并 能 够 解决 复杂 的 问题 。 

现在 我 们 讨论 遗传 算法 的 一 些 细节 。 


7.3 遗传 算法 — 

让 我 们 从 定义 开始 : 遗传 算法 是 基于 生物 进化 机 制 的 随机 搜索 算法 。 假 定 有 一 个 定义 清晰 
的 要 解决 的 问题 ， 并 用 二 进 制 数字 串 表示 候选 的 解决 方案 ， 则 基本 遗传 算法 如 图 7.2 所 示 。 遗 传 
算法 的 主要 步骤 有 (Davis, 1991; Mitchell, 1996) : 

步骤 1: 用 固定 长 度 的 染色 体 表示 问题 变量 域 ， 选 择 染 色 体 种 群 数量 为 VY， 交 叉 概 率 为 p。， 
突变 概率 为 Pno 

步骤 2: 定义 适应 性 函数 来 衡量 问题 域 上 单个 染色 体 的 性 能 或 适应 性 。 适 应 性 函数 是 在 繁殖 


过 程 中 选择 配对 染色 体 的 基础 。 

步骤 3: 随机 产生 一 个 大 小 为 N 的 染色 体 的 种 群 。 

步骤 4: 计算 每 个 染色 体 的 适应 性 : 

fo) fg) vf xy) 

BRS: 在 当前 种 群 中 选择 一 对 染色 体 。 双 亲 染 
色 体 被 选择 的 概率 和 其 适应 性 有 关 。 适 应 性 高 的 染色 
体 被 选中 的 概率 高 于 适应 性 低 的 染色 体 。 

步骤 6: 通过 执行 遗传 操作 一 一 交叉 和 突变 产生 
一 对 后 代 染 色 体 。 

PRT: 将 后 代 染 色 体 放 人 新 种 群 中 。 

步骤 8: 重复 步骤 5， 直到 新 染色 体 种 群 的 大 小 
等 于 初始 种 群 的 大 小 N 为 止 。 

步骤 9: 用 新 (后 代 ) 染色 体 种 群 取代 初始 〈 双 
亲 ) 染色 体 种 群 。 

步骤 10: 回 到 步骤 4， 重 复 这 个 过 程 直 到 满足 终 
止 条 件 为 止 。 

我 们 看 到 ， 遗 传 算法 是 一 个 迭代 过 程 。 每 次 迭代 
称 为 一 代 。 简 单 遗 传 算 法 的 典型 迭代 次 数 在 50 ~ 500 
代 之 间 (Mitchel，1996 ) 。 某 一 代 的 全 部 集合 称 为 
run, 在 run 的 最 后 ， 我 们 期 望 找到 一 个 或 多 个 高 适应 
性 的 染色 体 。 

遗传 算法 中 有 传统 的 终止 条 件 吗 

由 于 遗传 算法 使 用 随机 搜索 方法 ， 因 此 在 超级 染 
色 体 出 现 之 前 ， 种 群 的 适应 性 可 能 在 几 代 中 保持 稳 
定 。 这 时 使 用 传统 的 终止 条 件 可 能 会 出 现 问题 。 一 个 
常用 的 方法 是 在 指定 遗传 代数 后 终止 遗传 算法 ， 并 检 
查 种 群 中 的 最 优 的 染色 体 。 如 果 没 有 得 到 满意 的 解决 
方案 ,遗传 算法 会 重新 启动 。 . 

可 以 通过 一 个 简单 的 例子 来 理解 遗传 算法 是 如 何 工 
作 的 。 假 设 要 寻找 函数 (15x —2°) 在 x 的 范围 为 0 ~ 15 
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产生 一 个 大 小 为 六 的 染色 体 


: XI XX 







计算 每 一 个 染色 体 的 适应 性 : 
SODS 03) fon) 


满足 终止 条 件 了 吗 ? 


否 
选择 一 对 染色 体 进行 配对 








VA p. 的 交叉 概率 ， 交 换 两 个 
选中 的 染色 体 ， 并 产生 后 代 







VÀ p, 的 突变 概率 ， 随 机 改变 
两 个 子 代 染色 体 的 基因 


将 所 得 的 结果 放 入 新 的 种 群 


新 的 种 群 的 大 小 
等 于 NN 吗 ? 













是 


用 新 的 种 群 取代 现 有 的 种 群 





图 7.2 基本 遗传 算法 
时 的 最 大 值 。 为 方便 起 见 ， 假 设 x 仅 取 整 数值 。 因 此 ， 染 色 体 只 要 用 4 个 基因 就 可 以 构建 了 ， 其 编码 
方式 如 表 7.1 所 示 。 


表 7.1 编码 方式 








假设 染色 体 种 群 的 大 小 N 为 6， 交 叉 概 率 p. 为 0.7， 突 变 概率 p,, 为 0. 001 (交叉 概率 和 突变 
概率 的 取 值 为 遗传 算法 的 典型 值 ) 。 本 例 中 的 适应 性 函数 为 : 
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f(x) =15x -x° 
遗传 算法 用 随机 产生 的 0 和 1 填充 6 个 4 位 的 数字 串 来 创建 染色 体 的 初始 种 群 。 初 始 种 群 看 
上 去 如 表 7.2 所 示 ， 适 应 性 函数 中 染色 体 的 初始 位 置 如 图 7. 3a 所 示 。 





a) 染色 体 初始 位 置 b) 染色 体 最 终 位 置 
图 7.3 适应 性 函数 和 染色 体位 置 


在 实际 问题 中 ， 一 个 种 群 中 一 般 会 有 数 千 个 染色 体 。 

接 下 来 计算 每 个 染色 体 的 适应 性 ， 其 结果 如 表 7.2 所 示 。 初 始 种 群 的 平均 适应 性 为 36。 为 
了 改善 适应 性 ， 初 始 种 群 会 通过 选择 、 交 又 和 突变 这 样 的 遗传 操作 而 有 所 改变 。 

在 自然 选择 中 ， 只 有 适应 性 最 佳 的 个 体 才能 存活 、 繁 殖 ， 并 将 基因 传 给 下 一 代 。 遗 传 算法 使 
用 此 类 的 方法 ,但 不 同 的 是 ， 从 上 一 代 到 下 一 代 ， 染 色 体 种 群 的 大 小 保持 不 变 。 


表 7.2 ”染色体 随机 产生 的 初始 种 群 
染色 体 编号 menm 解码 后 的 整数 染色 体 适 应 性 适应 性 比率 (96) 
x 1100 12 36 16.5 
x 0100 4 44 20.2 
x3 0001 1 14 6.4 
X4 1110 14 14 6.4 
X5 0111 7 56 25.7 
X6 1001 9 54 24.8 


如 何在 改进 种 群 平均 适应 性 的 同时 保持 种 群 的 大 小 不 变 

表 7. 2 的 最 后 一 列 为 单个 染色 体 适应 性 和 种 群 总 适应 性 的 比值 。 这 个 比值 决定 了 染色 体 被 选 
中 进行 配对 的 概率 。 因 此 ， 染色体 XS A XO 被 选中 的 概率 最 高 ， 而 染色 体 X3 和 XA 被 选中 的 概 
率 比 较 低 。 结 果 ， 染 色 体 的 平均 适应 性 随 着 遗传 的 进行 逐渐 提高 。 

最 常用 的 染色 体 选择 技术 是 轮 盘 选 择 (Goldberg, 1989; Davis，1991)。 图 7. 4 显示 了 本 例 
的 轮 盘 。 如 图 所 示 ， 轮 盘 上 的 每 一 片 都 代表 一 个 染色 体 ， 每 片 的 面积 等 于 该 染色 体 的 适应 性 比 
值 ， 如 表 7.2 所 示 。 例 如 ,染色体 5 和 X6 (适应 性 最 高 的 染色 体 ) 面积 最 大 ， 而 染色 体 到 和 
X4 GAMER) 在 轮 盘 上 只 占据 很 小 的 一 片 。 为 了 选择 一 个 染色 体 用 于 配对 ,在 [0, 100] 
之 间 产 生 一 个 随机 数 ， 轮 盘 上 区 间 段 正好 包含 这 个 随机 数 的 染色 体会 被 选中 。 就 像 轮 盘 上 有 一 
个 指针 ， 每 个 染色 体 在 轮 盘 上 都 有 一 个 和 自身 适应 性 相对 应 的 片 ， 轮 盘旋 转 后 ， 指 针 在 某 一 片上 
停 住 ， 那个 片 对 应 的 染色 体 就 被 选中 了 。 

在 本 例 中 ， 初 始 种 群 有 6 个 染色 体 。 因 此 ， 为 了 保证 下 一 代 中 有 相同 数量 的 染色 体 ， 轮 盘 应 旋 
转 6 次 ,第 一 对 可 能 选择 X6 和 X2 为 双亲 ， 第 二 对 可 能 选择 姑息， 最 后 一 对 可 能 是 A X5, 

一 旦 选 好 双亲 ， 就 执行 交叉 操作 。 

交叉 操作 如 何 执行 

首先 ， 交 叉 操 作 随 机 选择 交叉 点 〈 这 个 交叉 点 就 是 亲 代 染色 体 的 “断裂 ”点 ) ， 并 交换 染色 
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NN X1: 16.5% 
Ez]. 20.2% 
BH \3: 6.4% 
X4: 6.496 
C] x5: 25.7% 
Bl xs: 24.8% 





7.4 轮 盘 选择 


体 交叉 点 后 的 部 分 ， 从 而 产生 两 个 新 的 子 代 染 色 体 。 例 如 ,染色体 X6 和 X2 在 第 二 个 基因 出 交 
换 彼 此 交叉 点 后 的 部 分 ， 产生 两 个 后 代 ， 如 图 7.5 所 示 。 

如 果 两 个 染色 体 没 有 交叉 ,那么 就 克隆 自己 ， 子 代 是 亲 代 染色 体 的 精确 副本 。 例 如 ， 亲 代 桨 
tk X2 和 X5 有 可 能 没有 交叉 ， 那 么 创建 的 子 代 就 是 它们 自身 的 副本 ， 如 图 7.5 所 示 。 i 


























第 i 代 
xi, [111101o0|/=36 
x2 [o [1] o] 0] 7744 
x, [o[o]o [1] s=14 Pi 
x4, [ia [a] o] s=14 Xl, LU Tofo] 
ss [oT rs iod 
[i fofofijs x2, {o]ifofo] [Lo xs, 


ES 
xi4 [1]0 [o] 0] s=56 
vom f-50 
Ba [jo] ifo] enm 
x4, |o [1] o] o | s=44 
x5, |o | 1 [1] 0 | f=54 


x6, |o [1] 1] 1] 7-56 


图 7.5 GA 循环 
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交叉 概率 为 0.7 时 一 般 可 以 得 到 不 错 的 效果 。 在 完成 选择 和 交叉 后 ， 染 色 体 种 群 的 平均 适应 
性 得 到 改善 ， 即 从 36 增加 到 42。 

突变 代表 什么 

突变 在 自然 界 中 很 少 发 生 ， 它 表示 基因 发 生 了 改变 。 突 变 可 能 导致 适应 性 显著 提高 BKE 
数 情况 下 会 产生 有 害 的 结果 。 

那 究 竟 为 什么 要 使 用 突变 呢 ? Holland 是 把 突变 当做 一 个 后 台 操 作 (Holland, 1975) 提出 
的 。 它 的 作用 是 确保 搜索 算法 不 会 陷 人 局 部 最 优 值 。 选 择 和 交叉 操作 在 得 到 类 似 的 解决 方案 后 
可 能 停滞 。 在 这 种 情况 下 ， 所 有 的 染色 体 一 样 ， 因 此 种 群 的 平均 适应 性 不 可 能 得 到 提高 。 但 是 ， 
解决 方案 还 可 能 进一步 优化 ， 或 者 还 有 更 合适 的 局 部 最 优 值 ， 却 因为 搜索 算法 不 能 再 向 下 进行 
而 无 法 得 到 更 好 的 结果 。 突 变 等 同 于 随机 搜索 ， 它 避免 了 遗传 多 样 性 的 丧失 。 

突变 操作 如 何 工作 

突变 操作 就 是 随机 选择 染色 体 中 的 某 个 基因 并 反 转 其 值 。 例 如 ， 在 图 7.5 中 ， 妈 在 第 二 位 基因 处 
突变 ， X2 在 第 三 位 基因 处 突变 。 突 变 可 以 以 某 种 可 能 性 发 生 在 染色 体 的 任何 一 个 基因 上 。 在 自然 界 
中 ， 突 变 的 概率 非常 小 。 因 此 ， 在 遗传 算法 中 也 应 保持 很 小 的 取 值 ， 一 般 在 0.001 到 0.01 之 间 。 

遗传 算法 确保 种 群 的 适应 性 能 够 不 断 地 得 到 改善 ， 在 繁殖 一 定 代 数 后 〈 通 常 有 几 百 代 ) ， 
种 群 进化 到 接近 最 优 的 情况 。 在 本 例 中 ， 最 终 的 种 群 中 仅 包 含 染色 体 [0I1TI1T1] 和 [L101010]。 
图 7. 3b 显 示 了 染色 体 在 适应 性 函数 中 的 最 终 位 置 。 

在 本 例 中 ， 问 题 仅 有 一 个 变量 ， 因 此 很 容易 表示 。 假 设 现在 需要 找到 有 两 个 变量 的 “ 妖 ” 
函数 的 最 大 值 : 

flay) 2 7 x)'e 770 (wx -y)e t 
FH, x, y 的 取 值 范围 是 -3 ~3。 
首先 是 将 问题 的 变量 表示 为 染色 体 。 换 名 话说， 将 参数 * Ny 表示 为 连接 起 来 的 二 进 制 字 符 串 。 


1|0ljolollloll olojo n Ten] 


一 一 一 一 
x y 


其 中 ， 每 个 参数 都 用 8 位 的 二 进 制 位 来 表示 。 

然后 选择 染色 体 种 群 的 大 小 〈 例 如 为 6) 并 随机 产生 初始 种 群 。 

接 下 来 计算 每 个 染色 体 的 适应 性 。 这 通过 两 个 步骤 来 完成 。 第 一 步 ， 将 染色 体 解 码 ， 将 其 转换 
成 两 个 实数 x 和 y， 其 取 值 范围 在 -3 ~3 之 间 。 第 二 步 ， 将 解码 后 的 x、y AB) "E" Baer. 

解码 如 何 进行 

BA, 将 16 位 的 染色 体 分 割 成 两 个 8 位 的 数字 串 : 

[1]oTo[o[1]o [1]o io To [1 [1]1]o [11] 

然后 将 这 两 个 串 的 二 进 制 转换 成 十 进 制 数 ; 

(10001010)，=1x27 +0 x25 +0 x2? +0 x2* «1x2! «0x2? «1x2' «0x2? 
= (138), 














(00111011), z0 x2' «0 x25 «1x2 +1 x2 «1x2! «0x2 «1x2! «1x2^ 
= (59), 
8 位 二 进 制 表示 的 整数 值 的 范围 是 0 ~ (2 -1) ， 将 其 映射 到 实际 范围 是 -3 ~3 的 参数 x My: 


6 
256 -1 z 0.023 529 4 


为 了 得 到 x 和 y 的 实际 值 ， 将 其 十 进 制 的 值 乘 以 0. 023 529 4 并 减 去 3: 
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x = (138), x0. 023 529 4 -3 =0. 247 058 8 


y = (59) „ x0. 023 5294 -3 = - 1.611 7647 

必要 的 时 候 还 可 以 用 其 他 的 解码 方法 ， 例 如 格雷 码 ( Caruana and Schaffer, 1988), 

将 解码 后 的 x Aly 值 作 为 数学 函数 的 输入 ， 遗 传 算法 便 会 计算 每 个 染色 体 的 适应 性 。 

为 了 找到 “ 峰 ” 函数 的 最 大 值 ， 我 们 指定 交叉 概率 为 0.7， 突 变 概 率 为 0. 001。 前 面 提 到 过 ， 
在 遗传 算法 中 通常 要 指定 代数 。 假 设 预期 的 代数 为 100， 即 遗传 算法 会 在 6 个 染色 体 繁 殖 100 代 
后 停 下 来 。 

图 7. 6a 显示 了 染色 体 在 表面 上 的 初始 位 置 和 “ 峰 ” 函 数 的 轮廓 图 。 每 个 染色 体 用 一 个 球 表 
示 。 最 初 的 种 群 由 随机 产生 的 个 体 组 成 ， 它 们 彼此 不 同 且 是 异 质 的 。 但 从 第 二 代 开 始 ， 交 叉 操 作 
开始 将 最 优 的 染色 体 的 特征 重组 ， 种 群 开始 向 包含 最 高 点 的 峰值 处 收 仿 ， 如 图 7. 6b 所 示 。 直 到 
最 后 一 代 ， 遗 传 算法 用 突变 在 峰值 周围 搜索 ,产生 多 样 性 。 图 7. 6c 显示 了 最 终 的 染色 体 情 况 。 
但 是 种 群 汇 聚 在 位 于 “ 峰 ” 函 数 的 局 部 最 大 值 的 染色 体 上 。 

但 我 们 要 找 的 是 全 局 最 大 值 。 如 何 确 保 找 到 最 优 解决 方案 呢 ? 遗传 算法 最 严重 的 问题 就 是 
必须 关注 解 的 质量 ， 尤 其 是 是 否 找 到 最 优 解 。 一 种 方法 就 是 比较 用 不 同 的 突变 率 得 到 的 结果 。 本 
例假 设 将 突变 比率 增加 为 0.01， 并 重新 运行 遗传 算法 。 种 群 现在 可 能 收敛 到 图 7. 6d 所 示 的 位 
置 。 但 要 确保 得 到 稳定 的 结果 ， 就 要 增加 染色 体 种 群 的 数量 。 





“-3°3 


b) #1 fk 





UO — NW FEUD 





c) 局 部 最 大 值 解 


图 7. 6 ”染色体 在 “ 峰 ” 函 数 的 表面 轮廓 图 上 的 位 置 


图 7. 6 所 示 的 一 类 数学 函数 是 用 来 展现 遗传 算法 性 能 的 一 种 方便 的 媒介 。 但 是 ， 现 实 中 的 问 
题 对 应 的 适应 性 函数 可 能 无 法 简单 地 用 图 来 表示 。 我 们 可 以 用 性 能 图 作 蔡 代 。 

什么 是 性 能 图 

由 于 遗传 算法 是 随机 的 ， 每 次 执行 的 性 能 都 不 同 。 因 此 ， 用 曲线 表示 整个 染色 体 种 群 的 平均 性 能 
和 用 曲线 表示 种 群 中 最 优 染 色 体 的 性 能 ， 都 是 检验 遗传 算法 在 给 定 遗 传代 数 上 的 行为 的 有 效 方式 。 

图 7. 7a 和 图 7.7b 显示 了 100 代 中 适应 性 函数 的 最 优 值 和 平均 值 。 性 能 图 的 x 轴 为 遗传 的 代 
数 ， 并 在 运行 中 某 个 点 处 评估 ，y 轴 为 该 点 处 适应 性 函数 的 值 。 


152 - 第 7 章 进化 计算 


适应 性 





0 10 20 30 40 50 60 70 80 90 100 
代数 
a) 局 部 最 大 值 解 


p.=0.7, p,-0.01 


适应 性 





"0 10 20 30 40 50 60 70 80 90 100 
TOR 
b“ 峰 ” 国 数 的 全 局 最 大 值 解 


图 7.7 6 个 染色 体 遗 传 100 代 的 性 能 图 


平均 性 能 不 稳定 的 原因 是 突变 。 突 变 操 作 允 许 遗 传 算法 用 随机 的 方式 扩展 范围 。 突 变 可 能 
导致 种 群 适应 性 得 到 显著 改善 但 更 有 可 能 降低 适应 性 。 为 了 在 确保 多 样 性 的 同时 ,减少 变异 带 
来 的 损害 ， 我 们 可 以 增加 染色 体 的 数量 。 图 7. 8 显示 了 60 个 染色 体 遗 传 20 代 的 性 能 图 。 可 以 看 


Pp.=0.7, p,70.001 


适应 性 





0 2 4 6 8 10 12 14 16 18 20 


代数 
图 7. 8 60 个 染色 体 遗 传 20 代 的 性 能 图 
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出 ， 在 运行 开始 阶段 ， 平 均 曲 线 快速 上 升 ， 在 种 群 收敛 到 接近 最 优 解 时 ， 上 升 变 得 缓慢 ， 最 后 阶 
段 几乎 是 平 的 。 


7.4 遗传 算法 为 什么 可 行 

遗传 算法 有 坚实 的 理论 基础 (Holland，1975; Goldberg, 1989; Rawlins, 1991; Whitley, 
1993 ) 。 这 些 理论 基础 构建 在 模式 定理 之 上 。 

John Holland 引入 了 模式 (shema) 这 个 符号 (Holand，1975) ， 该 符号 来 源 于 希腊 语 的 “ 形 
式 ”(form) 。 模 式 是 包含 0、1 和 星 号 的 位 串 ， 星 号 表示 值 可 能 是 0 也 可 能 是 1。0 和 1 代表 模式 
的 固定 位 置 ， 星 号 代表 “通配符 ”。 例 如 ， 模 式 [T*]*10] 表 示 一 组 4 位 的 串 的 集合 。 集 合 中 的 每 
个 串 都 以 1 开始 ， 以 0 结束 。 这 些 串 叫做 模式 的 实例 。 

模式 和 染色 体 之 间 有 什么 关系 

很 简单 ， 只 要 模式 固定 位 置 和 染色 体 的 相应 位 置 匹配 ， 染 色 体 就 可 以 和 模式 相 匹配 。 例 如 ， 


每 个 染色 体 以 1 开始， 以 0 结束。 这 些 染 色 体 叫做 模式 日 的 实例 。 

模式 中 定义 的 位 〈 非 星 号 ) 的 个 数 称 为 秩 。 例 如 ， 模 式 吾 有 两 个 定义 的 位 ， 因 此 秩 为 2。 

简单 地 说 ， 遗 传 算法 运行 时 便 会 操作 图 式 schemata (schemata 是 模式 schema 的 复数 形式 ) 。 
如 果 遗 传 算 法 使 用 某 种 技术 使 繁殖 的 概率 和 染色 体 适应 性 成 正比 ， 那 么 基于 模式 定理 〈 Holland, 
1975) ， 就 可 以 预测 在 遗传 的 下 一 代 就 会 出 现 给 定 模 式 。 换 句 话说 ， 可 以 用 给 定 模式 的 实例 数量 
的 增加 或 者 减少 来 描述 遗传 算法 的 行为 (Goldberg，1989 ) 。 

假设 染色 体 的 第 i 代 中 至 少 包含 模式 有 的 一 个 实例 。 令 ms(i) 为 第 i 代 中 模式 五 实例 的 个 
数 , fs(i) 为 这 些 实例 的 平均 适应 性 。 我 们 想 要 计算 的 是 下 一 代 中 实例 的 个 数 ms(i+1)。 由 于 
繁殖 的 概率 和 染色 体 适 应 性 成 正比 ， 因 此 ， 可 以 很 容易 地 计算 出 下 一 代 中 染色 体 x 的 后 代 预 期 出 
现 的 数量 : 





£O) (7.1) 


m,(it1) = 


fa) 
其 中 , A) 是 染色 体 x 的 适应 性 , f(i) 是 染色 体 第 i 代 的 平均 适应 性 。 
然后 假设 染色 体 x 是 模式 甩 的 实例 ， 于 是 可 以 得 到 : 


z=ma(i) 


2, £0) 


x= 


FG) 





m,(i+1) = eH (7.2) 


d 


定义 : 
x=ma(i) 
. ~ £0 
fa Q0 = -一 


ma(i) 
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就 可 以 得 到 ， 


mn(i+1)= Sali AÒ Ci) (7.3) 


因此 ， 适 应 性 高 于 平均 值 的 模式 在 下 一 代 染 色 体 中 出 现 的 概率 更 高 ， 而 适应 性 低 于 平均 值 
的 模式 在 下 一 代 染 色 体 中 出 现 的 概率 更 低 。 

交叉 和 突变 的 效果 怎么 样 

交叉 和 突变 都 可 以 创建 或 破坏 模式 的 实例 。 这 里 我 们 仅 考虑 破坏 的 情况 ， 即 减少 模式 五 的 
实例 的 个 数 的 情况 。 首 先 将 交叉 操作 导致 的 破坏 量化 。 仅 在 至 少 一 个 后 代 也 是 模式 实例 的 情况 
下 模式 免 于 被 破坏 。 这 种 情况 就 是 因为 交叉 操作 没有 发 生 在 模式 的 定义 长 度 上 而 造成 的 。 

什么 是 模式 的 定义 长 度 

模式 中 有 定义 的 位 的 最 远 距 离 称 为 定义 长 度 。 例 如 , [x]*]*]*]ITOIIT1] 的 定义 长 度 是 3， 
[xJOT*T1T*TiTOT*] 的 定义 长 度 是 5,[T*TxT*[*]J*[*]0] 的 定义 长 度 是 7。 

如 果 交 叉 发 生 在 定义 长 度 上 ， 则 模式 五 就 会 被 破坏 ， 并 和 且 会 创建 不 是 五 的 实例 的 后 代 ( 如 
果 两 个 相同 的 染色 体 交 叉 ， 即 使 交叉 点 在 定义 长 度 上 ， 模 式 万 也 不 会 被 破坏 ) 。 

因此 ， 模 式 瑟 在 交叉 后 可 以 幸存 下 来 的 概率 为 : 

P? =1-p.(7) (7. 4) 

其 中 ，p, 是 交叉 概率 ，! 和 1 分 别 是 模式 矿 的 长 度 和 定义 长 度 。 

很 明显 ， 短 模式 交叉 后 幸存 的 概率 要 高 于 长 模式 的 幸存 的 概率 。 

现在 分 析 突变 的 破坏 效果 。 假 设 p,, 是 模式 妃 上 任意 位 的 突变 概率 ，n 为 模式 五 的 秩 。 那 么 
(1 -p,〉 就 是 某 位 不 会 突变 的 概率 ， 因 此 ， 模 式 互 突变 后 幸存 的 概率 为 : 

Py” =(1-p,)" (7.5) 

同样 很 明显 ， 突 变 后 短 模式 幸存 的 概率 要 大 于 长 模式 的 幸存 的 概率 。 

下 面 考虑 交叉 和 突变 操作 的 破坏 效果 ， 修 正 公式 (7.3) X: 
fai) 
P? Fy OF - p. (“4 4)]a -p,) (7. 6) 

这 个 公式 描述 了 模式 从 这 一 代 到 下 一 代 的 增长 。 这 就 是 模式 定理 。 因 为 公式 (7.6) 仅 考虑 
了 交叉 和 突变 操作 的 破坏 性 ， 因 此 实际 给 出 的 是 下 一 代 中 模式 五 的 实例 数量 的 下 限 。 

尽管 交叉 被 当做 是 遗传 算法 的 一 个 主要 优点 ， 但 是 目前 还 没有 足够 的 理论 基础 可 以 支持 这 
一 观点 : 仅仅 是 因为 交叉 操作 能 够 将 部 分 解决 方法 结合 起 来 ， 遗 传 算法 就 优 于 其 他 搜索 或 优化 
算法 。 

遗传 算法 是 一 个 功能 强大 的 工具 ， 但 需要 巧妙 地 使 用 。 例 如 ， 将 问题 编码 成 位 串 可 能 会 改变 
所 研究 问题 的 本 质 。 换 名 话说， 编码 表达 所 代表 的 问题 有 可 能 不 同 于 最 初 要 解决 的 问题 。 

为 了 证 明 上 面 讨论 的 观点 ， 下 面 一 节 将 讨论 一 个 应 用 遗传 算法 解决 资源 计划 问题 的 例子 。 


7.5 案例 研究 : 用 遗传 算法 来 维护 调度 

遗传 算法 最 成 功 的 应 用 领域 之 一 是 资源 调度 的 问题 。 资 源 调度 问题 通常 很 复杂 且 难 以 解决 。 
一 般 情况 下 都 是 结合 使 用 搜索 算法 和 启发 式 方法 加 以 解决 。 

为 什么 调度 问题 这 么 难 

首先 调度 问题 属于 NP 完全 问题 。 这 种 问题 难于 管理 且 不 可 能 用 组 合 搜索 技术 来 解决 。 另 











ma(i+1)= 
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外 ,单独 使 用 启发 式 方法 也 不 能 保证 得 到 最 优 解 。 

其 次 ,调度 问题 涉及 有 限 资源 的 竞争 ， 因 此 ， 有 诸多 限制 而 导致 问题 难于 解决 。 遗 传 算法 能 
够 成 功 的 关键 在 于 能 够 定义 一 个 适应 性 函数 ， 这 个 函数 可 以 整合 所 有 的 限制 。 

我 们 这 里 要 讨论 的 是 维护 现代 电力 系统 的 调度 。 这 个 任务 有 诸多 限制 和 不 确定 性 ， 例 如 电 
力 设 备 的 故障 ， 以 及 导致 的 被 迫 中 止 运转 和 获得 备用 件 时 的 时 间 延 迟 。 调 度 计 划 经 常 要 在 短 时 
间 内 修订 。 人 类 专家 经 常 手工 处 理 这 个 维护 计划 ， 但 不 能 保证 产生 的 是 最 优 或 者 接近 最 优 的 解 
决 方案 。 

开发 遗传 算法 的 典型 过 程 包含 下 面 几 个 步骤 ， 

1) 确定 问题 ,定义 约束 条 件 和 最 优 标准 。 

2) 用 染色 体 来 表示 问题 域 。 

3) 定义 适应 性 函数 来 评估 染色 体 的 性 能 。 

4) 构造 遗传 操作 。 

5) 运行 遗传 算法 ， 并 调整 参数 。 

JUR. 确定 问题 ， 定 义 约束 条 件 和 最 优 标准 。 

这 是 开发 遗传 算法 最 重要 的 步 又。 如果 这 个 步 又 不 正确 、 不 完善 ， 就 不 可 能 得 到 可 行 的 
计划 。 

电力 系统 的 各 个 组 成 部 分 需要 在 它们 整个 生命 周期 中 不 间断 地 工作 ， 因 此 需要 定期 维修 。 
制订 维护 计划 的 目的 就 是 找到 在 给 定时 间 周 期 内 (通常 为 一 年 ) 电力 设备 的 耗损 情况 ， 确 保 电 
力 系 统 处 于 最 安全 的 状态 。 

电力 系统 的 任何 损耗 都 与 安全 性 的 衫 失 相 关联 。 安 全 边界 由 系统 的 净 储备 定义 。 净 储备 定 
义 为 系统 设备 的 总 容量 减 去 计划 损耗 的 能 量 ， 再 减 去 维护 期 间 预 测 的 最 大 负载 量 。 例 如 ， 假 设 总 
容量 为 150MW， 周 期 内 预期 最 大 负载 量 为 100 MW 时 ， 周 期 内 计划 维护 一 个 20 MW 的 设备 ， 那 
么 净 储备 就 是 30MW。 维 护 计划 必须 确保 在 任何 维修 期 间 有 充足 的 净 储 备 以 安全 地 供应 电力 。 

假设 在 4 个 等 长 的 时 间 间 隔 内 有 7 个 电力 设备 。 在 时 间 间 隔 内 预期 的 最 大 负载 分 别 为 
80MW、90MW、65MW 和 70MW。 表 7.3 为 设备 容量 和 维护 需求 。 


表 7.3 电力 设备 和 维护 需求 


设备 编号 设备 容量 (MW) Nc du 


20 2 
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该 问题 的 限制 条 件 如 下 : 

。 任何 设备 的 维护 从 间隔 的 起 始 开始 ， 在 本 间隔 尾 端 或 相 邻 间隔 处 结束 。 维 护 开始 后 不 能 
异常 中 止 ， 或 者 早 于 计划 的 时 间 而 结束 。 

。 电力 系统 的 净 储备 在 任何 时 间 间 隔 上 必须 大 于 或 等 于 零 。 

最 优 标准 是 指 在 任何 维护 期 间 内 净 储备 的 值 达到 最 大 。 

步骤 2: 用 染色 体 来 表示 问题 域 。 
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调度 问题 在 本 质 上 是 排序 问题 ， 它 需要 我 们 以 一 定 的 顺序 列 出 任务 的 次 序 。 一 个 完整 的 调 
度 可 能 由 一 系列 相互 重 和 到 的 任务 组 成 ， 但 不 是 说 所 有 的 次 序 都 合理 ， 因 为 某 些 次 序 会 违反 系统 
的 限制 。 我 们 的 任务 是 将 完整 的 调度 表示 为 固定 长 度 的 染色 体 。 

一 个 显而易见 的 编码 方案 是 给 每 个 设备 制定 一 个 二 进 制 编号 ， 染 色 体 就 是 这 些 二 进 制 编号 
的 串 。 但 是 把 设备 按 次 序 排列 还 不 是 调度 。 因 为 某 些 设备 要 同时 维护 ， 因 此 要 把 维护 需要 的 时 间 
放 和 调度 中 。 因 为 ， 不 是 把 设备 按 顺 序列 成 串 ， 而 是 应 该 为 每 个 设备 构建 维护 计划 。 设 备 计划 可 
以 很 容易 地 用 4 位 字符 串 来 表示 ， 每 一 位 就 是 维护 的 一 个 时 间 间 隔 。 如 果 该 设备 的 维护 是 在 某 个 
时 间 间 隔 内 进行 ， 相 应 的 位 就 是 1， 否 则 为 0。 例 如 ， 串 [QH 00] 表 示 的 计划 是 在 第 二 个 时 间 间 
隔 内 维护 设备 。 因 此 ， 问 题 的 完整 维护 计划 可 用 28 位 的 染色 体 来 表示 。 

但 是 ， 交 叉 和 突变 操作 可 以 很 容易 地 创建 这 样 的 二 进 制 字符 串 : 某 些 设备 可 能 被 维护 多 次 ， 
而 其 他 一 些 设备 根本 不 被 维护 。 另 外 ， 可 能 会 使 得 维护 的 次 数 超出 了 真正 所 需 的 维护 次 数 。 

更 好 的 方法 是 改变 染色 体 的 语法 。 前 面 讨论 过 ， 染 色 体 是 由 基因 作 基 本 单元 组 成 的 集合 。 一 
般 情 况 下 ， 每 个 基因 用 一 位 来 表示 ， 并 且 不 能 被 分 成 更 小 的 元 素 。 在 本 问题 中 ， 我 们 采用 相同 的 
概念 ， 但 是 用 4 位 来 表示 一 个 基因 。 也 就 是 说 ， 我 们 的 染色 体 中 ， 不 可 分 割 的 最 小 单位 为 4 位 的 
串 。 这 种 表示 方式 保证 了 交叉 和 突变 操作 根据 遗传 算法 的 理论 可 以 进行 。 接 下 来 就 是 为 每 个 设 
备 产 生 基 因 池 : 

设备 1: [1100][0110 

设备 2: [|1100||0110||0011 

i&3:[1000][0100][0010][0001 

i&4:[1000][0100][0010][0001 
i&5:[1000][0100][0010][0001 

&t&6.[1000][0100][0010 [9991] 

设备 7: [1000][0100 

遗传 算法 通过 从 相应 的 池 中 随机 选择 基因 来 填 满 有 7 个 基因 的 染色 体 ， 并 以 此 来 创建 初始 染 
色 体 种 群 。 图 7.9 显示 了 一 个 染色 体 的 样本 。 


设备 1 设备 2 设备 3 设备 4 设备 5 设备 6 设备 7 
ro or oo oo v[s o ooo v ol v 9 9] 


图 7.9 调度 问题 中 的 一 个 染色 体 






































BRS: 定义 适应 性 函数 来 评估 染色 体 的 性 能 。 

染色 体 的 评估 是 遗传 算法 中 一 个 关键 的 部 分 ， 因 为 要 根据 它们 的 适应 性 来 选择 染色 体 进 行 
匹配 。 适 应 性 函数 必须 捕 提 是 什么 使 维护 计划 对 用 户 而 言 是 好 或 是 坏 。 本 例 中 ， 我 们 使 用 比较 简 
单 的 函数 ， 关 注 每 个 时 间 间 隔 中 的 限制 因素 和 净 储备 。 

染色 体 的 评估 从 每 个 时 间 间 隔 上 计划 维护 的 设备 容量 的 总 和 开始 ， 从 图 7. 9 我 们 可 以 得 到 : 

时 间 间 隔 1: Ox204+0x15+0x35+1x40+0x154+0x15+1x10=50 

时 间 间 隔 2: 1 x20+0x15+0x35+0x40+1x15+0x15+0x10=35 

时 间 间 隔 3:; 1x20+1x15+0x35+0x40+0x15+1x15+0x10=50 

时 间 间 隔 4.: Ox20+1x15+1x35+0x40+0x15+0x15+0x10=50 

然后 将 这 些 值 从 电力 系统 的 总 容量 中 减 去 (本 例 为 150 MW) ; 

时 间 间 隔 1: 150 —50 =100 
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时 间 间 隔 2: 150 -35 =115 

时 间 间 隔 3. 150 -50 =100 

时 间 间 隔 4: 150 -50 -100 

最 后 ， 减 去 每 个 时 间 间 隔 内 预期 的 最 大 负载 ， 便 可 得 到 各 自 的 净 储备 : 

时 间 间 隔 1; 100 -80 =20 

时 间 间 隔 2; 115 -90 =25 

时 间 间 隔 3: 100 -65 =35 

时 间 间 隔 4，100 —70 230 

由 于 结果 都 为 正 数 ， 这 个 染色 体 没有 违反 任何 限制 ， 因 此 是 一 个 合理 的 计划 。 染 色 体 的 适应 
性 由 净 储 备 的 最 低 值 确定 ， 本 例 是 20。 

但 是 ， 如 果 任 一 时 间 间 隔 上 的 净 储 备 是 负 值 ， 那 么 计划 就 不 合适 ， 适 应 性 函数 要 归 为 0。 

在 运行 初期 ， 随 机 创建 的 初始 群体 可 能 全 部 为 不 合适 的 调度 。 在 这 种 情况 下 ， 染 色 体 适应 性 
取 值 保持 不 变 ， 选 择 过 程 要 按照 实际 适应 性 的 值 来 进行 。 

PRA: 构造 遗传 操作 。 

构造 遗传 操作 具有 很 大 挑战 性 ， 我 们 必须 通过 实验 来 设置 交叉 和 罕 变 的 取 值 ， 以 便 使 其 正 
确 地 工作 。 染 色 体 应 该 以 对 问题 来 说 合法 的 方式 进行 断裂 。 因 为 我 们 已 经 改变 了 染色 体 的 语法 ， 
所 以 可 用 经 典 的 方式 来 进行 遗传 操作 。 染 色 体 中 的 每 个 基因 是 一 个 4 位 的 不 可 分 割 的 串 ， 这 些 串 
由 某 个 设备 的 可 能 的 维护 计划 组 成 。 因 此 ， 任 何 基因 随机 的 突变 或 来 自 亲 代 染 色 体 的 许多 基因 
的 重组 都 可 能 导致 设备 维护 计划 的 改变 ， 但 不 能 创造 “ 非 自 然 ”的 染色 体 。 

图 7. 10a 为 运行 遗传 算法 时 交叉 操作 的 例子 。 在 用 竖 线 表示 的 随机 选择 的 位 置 截 断 亲 代 ， 并 
在 这 之 后 交换 亲 代 基因 ， 从 而 得 到 子 代 。 图 7. 10b 为 突变 的 例子 。 突 变 运算 在 染色 体 中 随机 选择 
一 个 4 位 的 基因 ， 并 用 在 相应 池 中 随机 选择 的 基因 进行 替代 。 图 7. 10b 的 例子 显示 ， 染 色 体 在 第 
三 个 基因 处 发 生 突变 ， 在 设备 3 的 基因 池 中 选择 基因 [0101011] 来 代替 原来 的 基因 。 





a) 交叉 操作 


x 
[rv [o r3 oper [o v v 1 [o 1 o ofo o 1 ol ooo 
l! 
b) 突变 操作 
图 7. 10 调度 问题 的 遗传 操作 


BRS: 运行 遗传 算法 并 调整 参数 。 
现在 运行 遗传 算法 。 首 先 必须 选择 用 于 运行 的 种 群 大 小 和 遗传 代数 。 根 据 常 识 ， 种 群 越 大 结 
果 越 好 ， 但 是 运行 速度 会 相对 较 慢 。 但 实际 上 ， 种 群 大 小 的 选择 取决 于 要 解决 的 问题 ， 特 别 是 问 
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题 的 编码 方案 (Goldberg，1989) 。 遗 传 算法 只 可 以 运行 有 限 的 代数 来 获得 解 。 我 们 可 以 选择 一 
个 非常 大 的 种 群 只 运行 一 次 ， 或 者 选择 较 小 的 种 群 而 运行 多 次 。 任 何 情况 下 ， 都 只 有 实验 能 给 我 
TER., 

图 7. 11a 为 20 个 染色 体 50 代 产 生 的 性 能 图 和 最 优 计划 。 可 以 看 到 ， 最 优 调度 的 净 储 备 的 最 
小 值 为 15MW。 将 遗传 代数 增加 到 100， 比 较 一 下 结果 (如 图 7. 11b 所 示 ) 。 这 次 得 到 的 最 优 调 
度 的 净 储 备 的 最 小 值 是 20MW。 但 是 ， 在 两 种 情况 中 ， 最 佳 的 个 体 都 出 现在 第 1 代 中 ， 遗 传代 数 
的 增加 也 不 会 影响 最 终 的 解决 方案 。 这 就 提示 我 们 应 该 增加 种 群 的 大 小 。 


N=20, p,=0.7, p,,=0.001 









时 间 段 
a) 在 50 代 内 
N=20, p,-0.7, p, 0.001 








时 间 段 
b) 在 100 代 内 


图 7.11 有 20 个 染色 体 的 种 群 性 能 图 和 最 优 调度 计划 
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图 7. 12a 为 遗传 到 100 代 的 性 能 图 和 这 种 情况 下 的 最 优 调度 计划 。 净 储备 的 最 小 值 增加 到 了 
25MW。 为 了 得 到 最 好 调度 ， 我 们 必须 比较 在 不 同 突变 率 下 的 结果 。 因 此 ， 将 突变 率 提 高 到 
0. 01 ， 并 再 次 运行 遗传 算法 ， 图 7. 12b 展示 了 这 种 结果 。 网 络 最 小 的 净 储 备 依然 是 25 MW。 现 在 
我 们 可 以 很 自信 地 说 最 优 解 已 经 找到 了 。 


N=100, p.=0.7, p,=0.001 





时 间 段 
a) 突变 率 为 0.001 


N=100, p,=0.7, p,,=0.01 








时 间 段 
b) 突变 率 为 0.01 


图 7.12 有 100 个 染色 体 的 种 群 性 能 图 和 最 佳 调度 计划 
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7.6 进化 策略 

另 一 个 模拟 自然 进化 的 方法 是 20 世纪 60 年 代 初 在 德国 提出 的 。 和 遗传 算法 不 同 ， 这 种 称 为 
进化 策略 的 方法 是 用 于 解决 工程 技术 优化 问题 的 。 

1963 年 ， 柏 林 工 业 大 学 的 两 个 学 生 Ingo Rechenberg 和 Hans - Paul Schwefel 致力 于 研究 流体 
的 最 佳 形状 。 在 工作 中 ， 他 们 使 用 了 流体 工程 学 院 的 风 洞 。 由 于 这 是 一 个 艰苦 且 需 要 依靠 直觉 的 
工作 ， 他 们 决定 按照 自然 突变 的 例子 来 随机 改变 形状 的 参数 ， 结 果 便 产 生 了 进化 策略 ( Rechen- 
berg, 1965; Schwefel, 1981), 

进化 策略 是 可 替代 工程 师 直 党 的 一 种 方法 。 直 到 最 近 ， 当 没有 分 析 对 象 的 函数 可 用 ， 传 统 的 
优化 方法 不 存在 ， 工 程 师 必须 依靠 他 们 的 直觉 时 ， 进 化 策略 才 被 用 于 技术 优化 问题 中 。 

和 遗传 算法 不 同 ， 进 化 策略 仅 用 到 突变 操作 。 

如 何 实 现 进 化 策略 

进化 策略 最 简单 的 形式 是 (1+1) 进化 策略 。 每 一 代 中 ， 采 用 正 态 分 布 的 变异 使 单个 亲 代 
产生 一 个 子 代 。(1 +1) 进化 策略 的 实现 方法 如 下 : 

步骤 1: 选择 表示 问题 的 W 个 参数 ， 然 后 确定 每 
个 参数 可 行 的 范围 。 

1% amin sinas } » | %amin » Tamas | >°" » |X Nmin mas | 

定义 每 个 参数 的 标准 差 和 需要 优化 的 函数 。 

步骤 2: 在 每 个 参数 各 自 可 行 的 范围 内 随机 选择 
初始 值 。 这 些 参 数值 的 集合 就 是 亲 代 参 数 的 初始 种 群 。 

步骤 3: 计算 和 亲 代 参数 相关 联 的 解 。 

X z f(x, 2, xy) 

步骤 4: 通过 给 每 个 参数 加 上 均值 为 0, 方差 为 6 
的 正 态 分 布 随 机 变量 a， 获 得 一 个 新 的 子 代 参数 。 

x =x, +a(0,8), i-21,2,-,N (7.7) 

均值 为 0 的 正 态 分 布 的 突变 反映 了 进化 的 自然 过 
程 ， 即 较 小 的 变化 发 生 的 概率 大 于 较 大 的 变化 发 生 的 
概率 。 

PRS: 计算 和 后 代 参 数 相关 联 的 解 。 

X xf(x' x^, ax) 

DRE: 比较 子 代 参数 对 应 的 解 和 亲 代 参数 对 应 
的 解 。 如 果子 代 的 解 比 较 好 ， 就 用 子 代 代替 亲 代 。 否 
则 ,保留 亲 代 参 数 。 

步骤 7: 回 到 步骤 4， 重 复 这 个 过 程 ， 直 到 得 到 满 
意 的 解 ， 或 者 达到 了 制定 的 遗传 代数 为 止 。 

(1+1) 进化 策略 的 流程 图 如 图 7. 13 所 示 。 

产生 新 的 解 时 ， 为 什么 要 同时 改变 所 有 的 参数 

进化 策略 反映 了 染色 体 的 本 质 。 实 际 上 ， 单 个 的 
基因 可 能 会 同时 影响 到 生物 体 的 几 个 特征 。 另 一 方面 ， 
生物 体 的 单个 特征 也 可 能 由 几 个 基因 同时 确定 。 自 然 
选择 作用 在 一 组 基因 而 不 是 单个 基因 上 。 





产生 一 个 大 小 为 N 的 亲 代 参 数 


:Xl Xnet, Xy 







计算 与 亲 代 相关 的 解决 方案 ， 
X=f(X,,%, soe, Xy) 







产生 一 个 子 代 参数 种 群 
xj7xta(0,8), 
x) =x ta (0,6); 






x7 xy* a(0,8) 









计算 与 子 代 相关 的 解决 方案 : 


X'-f(xj, x4, e, XK) 





X'te X SERERE? 







是 
用 子 代 种 群 代替 亲 代 种 群 








达到 指定 的 代数 了 吗 ? 


图 7.13 (141) 进化 策略 的 流程 图 
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进化 策略 可 以 解决 很 多 受 限 和 不 受 限 的 非 线性 优化 问题 ， 且 由 进化 策略 得 到 的 结果 通 
常 比 很 多 传统 、 高 度 复杂 的 非 线性 优化 技术 得 到 的 结果 要 好 (Schwefel, 1995) 。 通 过 实验 
还 验证 了 进化 策略 的 最 简单 版 本 ， 即 使 用 单个 亲 代 得 到 单个 子 代 的 方法 来 进行 搜索 最 为 
有 效 。 

遗传 算法 和 进化 策略 有 何 区 别 

遗传 算法 和 进化 策略 的 本 质 区 别 在 于 前 者 同时 使 用 交叉 操作 和 突变 操作 ， 而 后 者 仅 使 用 突 
变 操 作 。 另 外 ， 在 使 用 进化 策略 时 ， 不 需要 用 编码 的 形式 来 表示 问题 。 

哪 种 方法 更 好 

进化 策略 使 用 纯粹 的 数值 优化 计算 过 程 ， 这 和 蒙特 . 卡 洛 搜索 类 似 。 遗 传 算法 是 更 一 般 的 
应 用 ,但 应 用 遗传 算法 最 困难 的 部 分 是 对 问题 进行 编码 。 一 般 来 说 ， 要 回答 哪 种 方法 更 好 ， 需 要 
进行 实验 ， 这 是 完全 取决 于 应 用 的 。 


7.7 遗传 编程 


计算 机 科学 的 一 个 核心 问题 就 是 如 何 能 让 计算 机 在 没有 明确 编程 的 情况 下 知道 如 何 解决 问 
题 。 遗 传 编程 提供 了 解决 这 个 问题 的 方法 ， 即 通过 自然 选择 的 方法 来 使 计算 机 程序 进化 。 实 际 上 
遗传 编程 是 传统 遗传 算法 的 扩展 ， 但 遗传 编程 的 目的 不 仅仅 是 用 位 串 来 表示 问题 ， 而 是 要 编写 
解决 问题 的 代码 。 换 名 话说， 遗传 编程 创建 作为 解决 方案 的 计算 机 程序 ， 而 遗传 算法 创建 表示 解 
决 方案 的 二 进 制 串 。 

遗传 编程 是 进化 计算 领域 的 最 新 发 展 成 果 。20 世纪 90 年 代 ，John Koza 对 遗传 编程 的 发 展 起 
了 很 大 的 作用 (Koza, 1992; 1994), 


遗传 编程 如 何 工作 


根据 Koza 的 理论 ， 遗 传 编 程 搜索 可 能 的 计算 机 程序 空间 ， 来 获得 一 个 非常 适合 解决 问题 的 
计算 机 程序 (Koza，1992) 。 

任何 的 计算 机 程序 都 是 作用 到 值 (参数 ) 的 一 系列 操作 ( 函数) 。 但 不 同 的 编程 语言 可 能 有 
不 同 的 语句 、 操 作 及 语法 限制 。 由 于 遗传 编程 是 用 遗传 操作 来 操纵 程序 ， 因 此 ， 编 程 语言 应 该 允 
许 计算 机 程序 可 以 像 数 据 一 样 被 操作 ,并且 新 创建 的 数据 可 以 作为 程序 执行 。 基 于 这 些 原因 ， 
LISP 被 选 作 遗传 编程 的 主要 语言 (Koza，1992)。 


什么 是 LISP 


LISP, 或 者 说 是 列表 处 理 语言 (List Processor) ， 是 最 古老 的 高 级 编程 语言 之 一 (FORTRAN 仅 
HE LISP 早出 现 两 年 )， 它 由 John McCarthy 在 20 世纪 50 年 代 末 完成 ， 是 人 工 智能 的 标准 语言 之 一 。 

LISP 有 高 度 面 向 符号 的 结构 。 其 基本 数据 结构 是 原子 和 表 。 原 子 是 LISP 语法 中 不 可 分 割 的 
最 小 元 素 。 数 字 21， 符 号 X 和 字符 串 “This is a string” 都 是 LIP 原子 的 例子 。 表 是 原子 和 /或 
其 他 表 组 成 的 对 象 。LISP 表 可 以 写 为 圆 括号 中 的 项 目的 有 序 集合 。 例 如 : 

( - C* AB)C) 

此 表 要 求 调 用 减 函 数 ( - ) 处 理 两 个 自 变 量 ， 也 就 是 表 ( * AB) 和 原子 C。 首 先 ，LISP 对 
原子 A 和 B 使 用 乘 函 数 ( * )， 得 到 列表 ( * AB) 的 结果 ， 然后 用 减 函 数 ( - ) 计算 整个 
( -C * AB) C) 的 结果 。 

原子 和 表 都 称 作 符号 表达 式 或 S 表 达 式 。 在 LISP 中 ， 所 有 的 数据 和 结构 都 是 S RAR, A 
此 ，LISP 可 以 像 操 作 数 据 一 样 操作 程序 。 也 就 是 说 ，LISP 程序 可 以 修改 它们 自己 ， 甚 至 编写 出 
其 他 的 LISP 程序 。LISP 的 这 个 重要 的 特点 对 于 遗传 编程 而 言 非常 有 吸引 力 。 
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任何 LISP 的 S 表达 式 都 可 以 表达 成 一 棵 用 结 点 标记 的 有 根 的 、 具 有 有 序 分 支 的 树 。 图 7. 14 
为 $ 表 达 式 ( -(*AB)C) 的 树 。 这 棵 树 有 5 个 结 点 ， 每 个 结 [-] 
点 表示 一 个 函数 或 者 终端 。 树 的 两 个 内 部 结 点 用 (-) 或 (*) 
标识 。 注 意 ， 树 的 根 是 出 现在 S 表达 式 中 左 端 圆 括号 内 的 函数 。 四 © 
这 棵 树 的 3 个 外 部 的 结 点 也 叫做 时 结 点 ， 它 们 用 终端 A、B AIC 
标识 。 在 图 形 化 表示 中 ， 分 支 是 有 序 的 ， 因 为 函数 的 参数 顺序 。 (a) (B) 
直接 影响 最 终结 果 。 图 7.14 LISP S 表达 式 


如 何 使 用 遗传 编程 来 解决 问题 ( - C * AB)C) 的 图 形 化 表示 


在 使 用 遗传 编程 来 解决 问题 之 前 ， 必 须 先 执行 5 个 预备 步骤 (Koza，1994): 
1) 确定 终端 集合 。 
2) 选择 基本 函数 集 。 
3) 定义 适应 性 函数 。 
4) 确定 控制 运行 的 参数 。 
5) 选择 指定 运行 结果 的 方法 。 
可 以 用 色 股 定理 来 说 明 这 些 预备 步 又， 并 证 明 遗 传 编程 的 潜力 。 色 股 定理 说 明 ， 直 和 角 三 角形 
的 斜 边 ec 和 两 个 直角 边 a、5 有 如 下 关系 : 
c= Ja +b 
遗传 编程 的 目的 是 找到 和 这 个 函数 匹配 的 程序 。 为 了 度量 还 未 被 发 现 的 计算 机 程序 的 性 能 ， 
我 们 在 这 里 使 用 不 同 的 适应 性 案例 。 勾 股 定理 的 适应 性 案例 用 表 7. 4 所 示 的 直角 三 角形 表示 。 这 
些 适应 性 案例 是 在 变量 a UI b 的 取 值 范围 内 随机 选择 的 。 
表 7. 4 勾 股 定理 的 适应 性 案例 
Ha 31b BH c Xla wb RRA c 
3 5 5. 830 952 12 10 15. 620 499 
8 14 16. 124 515 21 6 21. 840 330 
18 2 18. 110 770 7 4 8. 062 258 
32 11 33. 837 849 16 24 28. 844 410 
4 3 5. 000 000 2 9 9.219 545 


B. 确定 终端 集合 。 | 

找到 与 计算 机 程序 的 输入 相对 应 的 终端 。 本 例 中 有 两 个 输入 ，a 和 5。 

步骤 2: 选择 基本 函数 集 。 

函数 可 以 用 标准 算数 操作 、 标 准 编程 操作 、 标 准 数学 函数 、 逻 辑 函数 或 特定 领域 的 函数 来 表 
示 。 本 例 中 使 用 标准 算数 函数 + 、- 、* 、/， 以 及 一 个 数学 函数 sqrt。 

终端 和 基本 函数 一 起 构成 了 构造 块 ， 遗 传 编程 利用 这 些 构造 块 构建 解决 问题 的 计算 机 
程序 。 

PRI: 定义 适应 性 函数 。 

适应 性 函数 用 来 评估 某 个 计算 机 程序 解决 问题 的 能 力 。 适 应 性 函数 的 选择 取决 于 要 解决 
的 问题 。 每 个 问题 的 适应 性 函数 可 能 有 很 大 不 同 。 本 例 中 ， 计 算 机 程序 的 适应 性 可 以 通过 程 
序 产生 的 实际 结果 和 适应 性 案例 给 出 的 结果 间 的 误差 来 衡量 。 一 般 情况 下 ， 只 有 一 个 案例 时 
不 测量 误差 ， 而 是 要 计算 一 组 适应 性 案例 的 绝对 误差 的 总 和 。 总 和 越 接近 于 0， 计算机 程序 就 
越 好 。 
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步骤 4: 确定 控制 运行 的 参数 。 

为 了 控制 运行 ， 遗 传 编程 使 用 的 主要 参数 和 遗传 算法 一 样 。 它 包含 种 群 大 小 和 最 大 遗传 
代数 。 

BRS: 选择 指定 运行 结果 的 方法 。 

通常 在 遗传 编程 中 指定 目前 最 好 的 遗传 程序 的 结果 作为 运行 结果 。 

一 旦 这 5 个 步骤 执行 完毕 ， 就 可 以 开始 运行 了 。 遗 传 编 程 的 运行 从 随机 选择 产生 的 计算 机 程 
序 初 始 种 群 开始 。 每 个 程序 由 + 、- 、* 、/ 和 sqr 以 及 终端 结 点 a、b 组 成 。 

在 最 初 的 种 群 中 ， 所 有 计算 及 程序 的 适应 性 都 很 差 ， 但 某 些 个 体 的 适应 性 要 比 其 他 个 体 好 。 
就 像 适 应 性 较 强 的 染色 体 被 选中 进行 繁殖 的 概率 要 更 高 一 样 ， 适 应 性 较 好 的 计算 机 程序 通过 复 
制 自己 进入 下 一 代 的 概率 也 更 高 。 


交叉 操作 可 以 操作 计算 机 程序 吗 


在 遗传 编程 中 ， 交 叉 操作 针对 的 是 两 个 基于 适应 性 而 被 选择 的 计算 机 程序 。 这 些 程序 有 不 
同 的 尺寸 和 形状 。 两 个 子 代 程序 是 两 个 亲 代 程序 任意 部 分 的 组 合 。 例 如 ， 有 如 下 两 个 LISP 的 S 
RAK: 


(/C- (sqrt + * aa)(-ab)))a)(* ab)) 

它 相 当 于 : 
Va +(a-b) -a 
ab 

而 

C C - Gart( — C b b)a) )b) (sqrt(/ a 0))) 
相当 于 

(a-o) e fE 


这 两 个 S 表达 式 都 可 以 用 带 有 有 序 分 支 的 、 用 结 点 标记 的 有 根 树 表示 ， 如 图 7. 152 所 示 。 树 
的 内 部 结 点 和 函数 对 应 ， 外 部 结 点 和 终端 对 应 。 
内 部 或 外 部 的 点 都 可 以 作为 交叉 点 。 假 设 第 一 个 亲 代 的 交叉 点 在 函数 .( * ) 处 , 第 二 个 
亲 代 的 交叉 点 是 函数 sqrt。 那 么 ,就 可 以 得 到 根 在 刚才 的 交叉 点 上 的 两 个 交叉 片段 ， 如 
图 7. 15a 所 示 。 交 叉 操 作 通过 交换 两 个 亲 代 的 片段 得 到 两 个 子 代 。 因 此 ， 第 一 个 子 代 是 第 一 个 
亲 代 在 交叉 点 上 插入 了 第 二 个 亲 代 的 片段 来 创建 的 。 同 样 ,， 第 二 个 子 代 是 第 二 个 亲 代 在 交叉 
点 上 插入 了 第 一 个 亲 代 的 片段 创建 的 。 两 个 子 代 来 自 于 两 个 亲 代 的 交叉 ， 结 果 如 图 7. 15b 所 
示 ， 这 两 个 子 代 是 : 
Jes (a-5) -a a 
y 和 (ab-b) A 


不 管 交 叉 点 怎么 选择 ， 交 叉 操 作 都 能 产生 有 效 的 子 代 计 算 机 程序 。 
遗传 编程 中 要 用 到 突变 操作 吗 


突变 操作 可 以 任意 改变 LISP 的 S 表达 式 中 的 函数 或 终端 。 在 突变 中 ， 函 数 仅 能 用 函数 取代 ， 
终端 也 仅 能 用 终端 取代 。 图 7. 16 解释 了 遗传 编程 中 突变 的 基本 概念 。 
总 之 ， 遗 传 编程 通过 执行 下 述 步骤 来 创建 计算 机 程序 (Koza, 1994) ; 
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CCGqrt*aaaD)))(*aDb)) (+((sqrt(—(+ b b)a))b\sqrt(/ a b))) 
a) 两 个 亲 代 的 S 表 达 式 





(+(-(+ a b)bysgri( a b))) 


(AHsqrt(+(+ a aX- a b)yaysgrtCX* b b)a))) 
b) 两 个 子 代 的 S 表 达 式 


图 7.15 遗传 编程 中 的 交叉 


步骤 1: 指定 运行 的 最 大 遗传 代数 以 及 克隆 、 交 又 和 突变 的 概率 。 注 意 ， 克 隆 、 交 又 和 突变 
三 者 概率 之 和 必须 为 1。 

步骤 2: 产生 长 度 为 W、 由 随机 选择 的 终端 和 函数 组 成 的 计算 机 程序 的 初始 种 群 。 

步骤 3: 执行 种 群 中 的 每 个 计算 机 程序 ， 用 合适 的 适应 性 函数 计算 其 适应 性 ， 指 定 最 好 的 个 
体 作 为 运行 的 结果 。 

步骤 4: 用 指定 的 概率 选择 遗传 操作 ， 以 执行 克隆 、 交 叉 和 突变 。 

BRS: 如 果 选 择 的 是 克隆 操作 ， 则 从 现 有 种 群 中 选择 一 个 计算 机 程序 ， 复 制 该 程序 后 将 其 
放 入 下 一 代 种 群 中 ; 如果 选择 的 是 交叉 操作 ， 则 从 现 有 种 群 中 选择 一 对 计算 机 程序 ， 创 建 一 对 后 
代 程 序 ， 放 人 下 一 代 种 群 中 ; 如 果 选 择 的 是 突变 操作 ， 则 从 现 有 种 群 中 选择 一 个 计算 机 程序 ， 执 
行 突变 操作 并 将 突变 的 结果 放 入 下 一 代 种 群 中 。 所 有 的 程序 都 按照 其 适应 性 的 概率 进行 选择 
(适应 性 越 高 ， 选 中 的 概率 就 越 大 ) 。 

步骤 6: 重复 执行 步骤 4， 直 到 新 种 群 的 计算 机 程序 数量 和 初始 种 群 一 样 多 (等 于 和 N) Hubs 

步骤 7: 用 新 的 〈 子 代 ) 种 群 取代 当前 的 〈 子 代 ) 种 群 。 

步骤 8: 回 到 步 又 3， 重 复 执行 ， 直 到 满足 终止 条 件 为 止 。 
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(A-(sqrt(+(* a aX- a b)))aX«a b)) (rCGart(-(* b b)a))b\sqrt(/ a b))) 
a) 原始 的 S 表达 式 





(AH sqrt(+(* a aX- a b))aY a b) (+(Hsqrt((+ b b)ay)aXsart( a b))) 
b) 突变 后 的 子 代 表达 式 


图 7.16 遗传 编程 中 的 突变 


图 7. 17 是 以 上 步骤 的 遗传 编程 的 流程 表示 。 

现在 回 到 勾 股 定理 。 图 7. 18 显示 了 500 个 计算 机 程序 的 种 群 中 最 好 的 S 表达 式 的 适应 性 。 
可 以 看 到 ， 在 随机 产生 的 初始 群体 中 ， 即 使 最 好 的 S 表达 式 也 有 很 差 的 适应 性 。 但 适应 性 提高 得 
很 快 ， 在 第 4 代 中 就 产生 了 正确 的 S 表达 式 。 这 个 简单 的 例子 证 明了 遗传 编程 为 计算 机 程序 的 进 
化 提供 了 通用 和 健壮 的 方法 。 

在 勾 股 定理 的 例子 中 ,使 用 了 LISP 的 S 表达 式 , 但 是 没有 理由 将 遗传 编程 限制 在 LISP S 表 
达 式 中 。 其 实在 C、C ++ 、Pascal 、FORTRAN Mathematica, Smalltalk 和 其 他 的 编程 语言 中 ， 都 
可 以 实现 S 表达 式 并 且 更 广泛 地 使 用 。 

和 遗传 算法 相 比 ， 遗 传 编程 的 优点 是 什么 

遗传 编程 和 遗传 算法 使 用 相同 的 进化 方法 。 但 是 遗传 编程 不 再 用 位 串 来 表示 编码 方法 ， 而 
是 用 完整 的 计算 机 程序 解决 具体 的 问题 。 遗 传 算法 最 基本 的 困难 在 于 问题 的 表达 ， 也 就 是 固定 
长 度 的 编码 表达 效果 不 佳 ， 限 制 了 遗传 算法 的 能 力 ， 甚 至 导致 错误 的 解 。 

固定 长 度 的 编码 相当 不 实际 。 由 于 不 能 提供 长 度 的 动态 变化 ， 这 样 的 编码 会 经 常 导致 相当 大 的 元 
余 ， 从 而 降低 了 遗传 搜索 的 效率 。 相 反 ， 遗 传 编程 使 用 长 度 可 变 的 高 层 组 件 ， 其 大 小 和 复杂 性 可 以 在 
繁殖 中 改变 。 遗 传 编程 在 很 多 不 同 场合 中 都 可 以 使 用 (Koza，1994) ， 并 且 应 用 范围 还 可 以 更 广 。 
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开始 


产生 一 个 大 小 为 N 的 初始 S 表达 式 种 群 


执行 每 个 S$ 表达 式 ， 并 计算 它 的 适应 性 


指定 最 好 的 S 表达 式 作为 每 轮 的 计算 结果 


满足 终止 条 件 了 吗 ? 是 


否 
将 最 好 的 S 表达 式 放 和 人 新 的 种 群 


克隆 mm 突变 


选择 一 个 S 表达 式 


执行 突变 操作 ， 并 将 
突变 体 放 入 新 的 种 群 








选择 一 对 S 表达 式 





选择 一 个 S 表达 式 





执行 交叉 操作 ， 并 将 两 个 
子 代 放 人 新 的 种 群 


否 新 的 种 群 大 小 
ST NH? 
是 
用 新 的 种 群 取代 当前 的 种 群 


图 7.17 遗传 编程 的 流程 图 


在 新 的 种 群 中 复制 
一 个 S 表达 式 











3 4 





(e 
图 7.18 最 好 的 $S 表 达 式 的 适应 性 

还 有 什么 困难 
Bi 尽管 有 许多 成 功 的 应 用 ， 但 没有 任何 证 据 表明 遗传 编程 可 以 扩展 到 那些 需要 大 量 计算 机 程 
253| 。 序 的 复杂 问题 中 。 即 使 能 够 扩展 ， 也 需要 大 量 的 计算 机 运行 时 间 。 
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7.8 小 结 
本 章 主要 介绍 进化 计算 ， 其 中 包括 遗传 算法 、 进 化 策略 和 遗传 编程 。 我 们 首先 介绍 了 开发 遗 
传 算法 的 主要 步骤 ， 讨 论 了 遗传 算法 的 工作 机 制 ， 并 通过 实际 应 用 解释 了 遗传 算法 的 理论 。 接 下 
来 介绍 了 进化 策略 的 基本 概念 ， 比 较 了 进化 策略 和 遗传 算法 之 间 的 不 同 。 最 后 介绍 遗传 编程 及 
其 在 解决 实际 问题 中 的 应 用 。 
本 章 的 主要 内 容 有 : 
e 以 自然 选择 和 遗传 的 计算 模型 为 基础 的 ， 获 取 人 工 智 能 的 方法 ， 称 作 进 化 计算 。 进 化 计 
算 包 含 了 遗传 算法 、 进 化 策略 和 遗传 编程 。 
e 进化 计算 所 有 方法 的 工作 方式 大 致 如 下 : 创建 包含 个 体 的 种 群 ， 计 算 适 应 性 ， 通 过 遗传 
操作 产生 新 的 种 群 ， 并 将 该 过 程 重复 一 定 的 次 数 。 
e 遗传 算法 由 John Holland 在 20 世纪 70 年 代 初 创建 。Holland 的 遗传 算法 是 将 一 代 人 工 
“染色 体 ” 移 到 下 一 代 的 一 系列 步骤 ， 它 使 用 的 是 “自然 ”选择 和 交叉 、 突 变 等 遗传 技 
术 。 每 个 染色 体 由 几 个 基因 组 成 ， 每 个 基因 用 0 或 1 表示 。 
。 遗传 算法 使 用 单个 染色 体 适 应 性 值 来 实现 繁殖 。 进 行 繁殖 时 ， 交 叉 操 作 交换 两 个 单独 染 
色 体 的 一 部 分 ， 突 变 操 作 则 改变 染色 体 上 随机 选中 的 某 个 基因 的 值 。 在 几 次 成 功 繁殖 之 
后 ， 适 应 性 低 的 染色 体 就 会 灭绝 ， 而 适应 性 高 的 染色 体 则 会 在 各 代 中 占 主 导 地 位 。 
遗传 算法 的 工作 原理 是 ， 发 现 和 重组 好 的 图 式 一 一 即 候选 方案 中 好 的 组 件 。 遗 传 算法 不 
需要 知道 问题 领域 的 任何 知识 ， 但 需要 适应 性 函数 评估 解决 方案 的 适应 性 。 
用 遗传 算法 来 解决 问题 ， 涉 及 定义 约束 条 件 和 最 优 标准 ， 将 问题 解决 方案 编码 为 染色 体 、 
定义 适应 性 函数 来 评估 染色 体 的 性 能 ， 创 建 合 适 的 交叉 和 突变 操作 。 
遗传 算法 是 一 个 功能 强大 的 工具 。 但 是 把 问题 用 位 串 来 表示 可 能 会 改变 问题 的 本 质 。 这 
样 通常 很 危险 ， 因 为 这 样 做 会 导致 问题 变 得 和 我 们 想 解决 的 问题 不 同 。 
进化 策略 是 代替 工程 师 直 觉 的 一 种 方法 。Ingo Rechenberg 和 Hans- Paul Schwefel 在 20 世纪 
60 年 代 初 对 其 进行 了 研究 。 进 化 策略 在 没有 分 析 对 象 消 数 、 没 有 传统 的 优化 方法 且 仅 仅 
依赖 于 工程 师 直 觉 的 时 候 使 用 。 
进化 策略 是 纯粹 的 数值 优化 过 程 ， 它 和 蒙特 . 卡 洛 搜索 方法 类 似 。 与 遗传 算法 不 同 ， 进 
化 策略 仅 使 用 突变 操作 。 另 外 ， 它 也 不 需要 把 问题 用 编码 的 方式 表示 。 
遗传 编程 是 进化 计算 领域 的 最 新 发 展 成 果 。20 世纪 90 年 代 ，John Koza 对 其 发 展 起 了 很 
大 的 作用 。 遗 传 编程 使 用 和 遗传 算法 相同 的 进化 机 制 。 但 是 遗传 编程 的 目的 不 再 是 用 位 
串 来 表示 问题 ， 而 是 要 编写 解决 问题 的 完整 的 计算 机 程序 。 
用 遗传 编程 来 解决 问题 包括 确定 自 变 量 集合 、 选 择 函 数 集合 、 定 义 评 估计 算 机 程序 性 能 
的 适应 性 函数 ， 以 及 选择 指定 运行 结果 的 方法 。 
由 于 遗传 编程 用 遗传 操作 来 操作 程序 ， 编 程 语言 应 该 允许 计算 机 程序 可 以 像 数 据 一 样 进 
行 操作 ， 并 且 新 创建 的 数据 应 该 像 程序 一 样 执行 。 基 于 这 些 原因 ，LISP 被 选 作 遗 传 编程 
的 主要 语言 。 


复习 题 

l. 为 什么 遗传 算法 被 称 作 遗 传 ? 谁 是 遗传 算法 “之 父 ”? 

2. 遗传 算法 的 主要 步骤 是 什么 ? 画 出 执行 这 些 步 又 的 流程 图 。 它 的 终止 条 件 是 什么 ? 
3. 什么 是 轮 盘 选择 技术 ? 它 如 何 工作 ?举例 说 明 。 

4. 交叉 操作 如 何 工作 ? 用 固定 长 度 位 串 为 例 说 明 ， 再 用 LISP S 表达 式 为 例 说 明 。 
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5. 什么 是 突变 ? 为 什么 需要 突变 ? 突变 操作 如 何 工作 ? 用 固定 长 度 位 串 为 例 说 明 ， 再 用 LISP S 
表达 式 为 例 说 明 。 
6. 遗传 算法 为 什么 可 行 9 什么 是 模式 ? 举例 说 明 模 式 及 其 实例 。 解 释 模 式 和 染色 体 之 间 的 关系 。 


什么 是 模式 定理 ? 

7. 用 一 个 真实 的 问题 来 描述 开发 遗传 算法 的 过 程 。 遗 传 算法 的 难点 在 哪里 ? 

255 8. 什么 是 进化 策略 ? 如 何 实现 它 ? 进化 策略 和 遗传 算法 间 有 什么 差别 ? 

9. iiti (1+1) 进化 策略 的 流程 图 。 为 什么 在 产生 新 的 解 时 要 同时 改变 所 有 的 参数 ? 

10. 什么 是 遗传 编程 ”如 何 使 用 遗传 编程 ? 为 什么 LISP 是 遗传 编程 的 主要 语言 。 

11. 什么 是 LISP S 表达 式 ? 举例 说 明 ， 使 用 具有 序 分 支 的 带 标记 点 的 有 根 树 来 表示 S RAR. Æ 
树 中 标 出 终端 和 函数 。 

12. 遗传 编程 的 主要 步骤 是 什么 ? 画 出 执行 步骤 的 流程 图 。 遗 传 编 程 的 优点 是 什么 ? 
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混合 智能 系统 


本 章 主要 介绍 专家 系统 、 模 糊 逻 辑 、 神 经 网 络 和 进化 计算 的 结合 ， 并 讨论 混合 智能 系统 的 
3B. ^ 


8.1 概述 


前 面 几 章 介绍 了 几 种 智能 技术 ， 包 括 概率 推理 、 模 糊 逻 辑 、 神 经 网 络 和 进化 计算 。 我 们 讨论 
了 这 几 种 技术 的 优点 和 缺点 ， 并 注意 到 在 真实 世界 的 应 用 中 ， 不 仅 需 要 获取 不 同 来 源 的 知识 ,而 
且 要 结合 不 同 的 智能 技术 。 对 这 种 结合 的 需求 导致 了 混合 智能 系统 的 出 现 。 

混合 智能 系统 是 结合 了 至 少 两 种 智能 技术 的 系统 。 例 如 ， 在 混合 神经 -模糊 系统 中 结合 了 
神经 网 络 和 模糊 系统 。 

概率 推理 、 模 糊 逻 辑 、 神 经 网 络 和 进化 计算 的 结合 构成 了 软 计 算 (Soft Computing, SC) 的 
核心 ， 软 计算 是 一 种 在 不 确定 和 不 精确 的 环境 中 建立 能 够 进行 推理 和 学 习 的 混合 智能 系统 的 
方法 。 

软 计算 的 潜力 首先 是 由 模糊 逻辑 之 父 Lotfi Zadeh 实现 的 。1991 年 3 月 ， 他 创建 了 伯克利 软 计 
算 倡 议 组 织 (Berkeley Initiative in Soft Computing) o 该 组 织 包 括 学 生 、 教授 、 企 业 和 政府 组 织 
和 雇员， 还 有 其 他 对 软 计算 感 兴趣 的 个 人 。 该 组 织 的 快速 成 长 表明 ， 软 计算 对 科学 技术 的 影响 在 未 
来 几 年 会 快速 发 展 。 

“ 软 ” 计 算是 什么 意思 

传统 的 计算 或 “ 硬 ”计算 使 用 清晰 的 取 值 或 数值 ， 而 软 计算 处 理 的 是 软 取 值 或 模糊 集 。 软 
计算 能 够 以 反映 人 类 思维 的 方式 处 理 不 确定 、 不 精确 和 不 完整 的 信息 。 在 真实 世界 中 ， 人 类 通常 
使 用 由 单词 而 不 是 数字 表示 的 软 数 据 。 人 类 的 感觉 器 官 处 理 软 信息 ， 大 脑 在 不 确定 和 不 精确 的 
环境 中 使 用 软 联想 和 软 推理 。 人 类 具有 不 使 用 数字 进行 推理 和 决策 的 非 几 能 力 。 人 类 使 用 单词 
和 软 计算 来 试图 在 制定 决策 时 对 单词 的 感觉 进行 建 模 。 

可 以 用 单词 来 成 功 地 解决 复杂 问题 吗 

单词 从 本 质 上 说 不 如 数字 精确 ， 但 是 精确 通常 会 造成 成 本 过 高 ， 所 以 我 们 在 可 以 容忍 不 精 
确 的 地 方 使 用 单词 。 同 样 ， 可 以 在 容忍 不 确定 和 不 精确 的 地 方 使 用 软 计算 ， 以 便 达 到 更 容易 处 
理 、 更 健壮 和 降低 解决 方案 的 成 本 (Zadeh, 1996), 

在 可 用 的 数据 不 太 精 确 时 ， 我 们 也 使 用 单词 。 这 在 复杂 的 问题 中 经 常 出 现 。 使 用 “ 硬 ” 计 
算 不 能 得 到 任何 解 ， 而 软 计算 却 还 能 够 得 到 很 好 的 解 。 

软 计算 和 人 工 智能 的 区 别 是 什么 

传统 的 人 工 智 能 试图 用 符号 术语 表达 人 类 的 知识 。 它 的 基础 是 符号 操作 的 严格 的 理论 及 精 
确 的 推理 机 制 ， 包 括 前 向 和 后 向 的 链接 。 传 统 的 人 工 智 能 最 成 功 的 例子 就 是 专家 系统 。 但 只 有 在 
获得 清晰 的 知识 ， 并 在 知识 库 中 表达 的 时 候 ， 专 家 系统 才 是 好 的 。 这 就 极 大 限制 了 这 种 系统 的 实 
际 应 用 。 

但 在 过 去 的 几 年 中 ， 人 工 智能 的 领域 快速 扩展 ， 涵 盖 了 人 工 神经 网 络 、 遗 传 算法 ， 甚 至 是 模 
糊 集 理 论 (Russell and Norvig, 2009) 。 这 就 使 得 现代 人 工 智 能 和 软 计算 的 边界 变 得 模糊 、 不 可 提 
摸 。 然 而 ， 本 章 的 目的 不 是 去 争论 什么 时 候 其 中 一 种 技术 变 成 另 一 种 技术 的 一 部 分 ， 而 是 让 读者 
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理解 构建 混合 智能 系统 的 主要 原则 。 

在 混合 系统 中 应 该 结合 哪些 内 容 

据说 ，Lotfi Zadeh 说 过 好 的 混血 儿 应 该 有 “英国 人 的 风度 、 德 国人 的 严 说、 法 国人 的 厨 艺 、 
瑞士 人 的 理财 能 力 和 意大利 人 的 浪漫 ” 。 但 是 “英国 人 的 厨 艺 、 德 国人 的 风度 、 法 国人 的 严谨 、 
意大利 人 的 理财 能 力 和 瑞士 人 的 浪漫 ”就 会 变 得 糟糕 了 。 同 样 ， 混 合 智能 系统 可 能 是 好 的 ， 也 
可 能 是 糟糕 的 一 一 这 取决 于 构成 混合 系统 的 是 什么 样 的 组 件 。 因 此 ， 我 们 的 目标 是 选择 正确 的 
组 件 构建 一 个 好 的 混合 系统 。 

每 个 组 件 都 有 自己 的 优点 和 缺点 。 概 率 推理 主要 关注 不 确定 性 ， 模 糊 逻 辑 主要 处 理 不 精确 
性 ， 神 经 网 络 主要 用 来 学 习 ， 进 化 计算 主要 用 来 优化 。 表 8. 1 是 不 同 智能 技术 的 比较 。 好 的 混合 
系统 可 以 将 这 些 技术 的 优点 集中 在 一 起 。 它 们 的 协同 作用 使 混合 系统 可 以 容纳 常识 ， 抽 取 来 自 
原始 数据 的 知识 ， 采 用 人 类 那样 的 推理 机 制 ， 处 理 不 确定 性 和 不 精确 性 ， 以 及 学 习 去 适应 快速 变 
化 和 未 知 环境 。 


表 8. 1 专家 系统 (ES), MMM (FS). MAA (NN) 和 和 遗传 算法 (GA) 的 比较 





ES FS NN GA 
知识 表示 O e n " 
不 确定 性 的 容忍 度 o e e e. 
不 精确 性 的 容忍 度 口 e e e 
适应 性 口 a e e 
学 习 能 力 口 口 e e 
解释 能 力 e e n a 
ALAR AS O a e O 
可 维护 性 [1 O e O 








ii 表 中 用 作 评 级 的 术语 是 : OZ, PRZ, OLMPOH, 


8.2 神经 专家 系统 


作为 智能 技术 ， 专 家 系统 和 神经 网 络 拥有 共同 的 目标 。 它 们 都 尝试 模拟 人 类 的 智能 ， 并 最 终 
创建 出 智能 机 器 。 但 是 二 考 达 到 目标 的 途径 是 不 同 的 。 专 家 系统 依赖 逻辑 推理 和 决策 树 ， 关 注 点 
在 于 对 人 类 推理 的 建 模 ; 神经 网 络 依赖 并 行 的 数据 处 理 ， 它 主要 是 模拟 人 脑 。 专 家 系统 把 大 脑 看 
做 是 一 个 黑 盒 ， 而 神经 网 络 观 察 它 的 结构 和 功能 ， 尤 其 是 学 习 的 能 力 。 这 些 区 别 表现 在 专家 系统 
和 神经 网 络 使 用 的 知识 表达 和 数据 处 理 技术 上 。 

基于 规则 的 专家 系统 是 通过 观察 或 者 访问 人 类 专家 ， 得 到 IF -THEN 产生 式 规则 来 表述 知识 
的 。 这 个 过 程 称 作 知识 获取 ， 它 是 困难 并 且 昂 贵 的 。 另 外 ,一 旦 这 些 规则 被 邦人 知识 库 ， 专 家 系 
统 本 身 就 不 能 再 改变 它 了 。 专 家 系统 不 能 通过 经 验 学 习 ， 也 不 能 适应 新 环境 。 只 有 人 类 能 手动 地 
增加 、 修 改 或 是 删除 其 中 的 规则 来 改变 知识 库 。 

在 神经 网 络 中 ， 知 识 存 储 为 神经 元 之 间 突 触 的 权重 。 当 把 训练 集 数 据 输 入 到 网 络 时 ， 这 些 知 
识 便 在 学 习 阶 段 获得 了 。 网 络 一 层 一 层 地 传递 输入 的 数据 ， 直 到 产生 输出 数据 为 止 。 如 果 该 输出 
数据 和 预计 的 输出 不 同 ， 则 会 计算 误差 ， 并 在 网 络 中 反 向 传播 回答 和 人 端 。 在 传递 误差 时 还 会 修改 
突 触 权重 。 和 专家 系统 不 同 ， 神 经 网 络 可 以 在 没有 人 类 干涉 的 情况 下 学 习 。 

但 是 ， 在 专家 系统 中 ， 知 识 可 以 分 解 为 单个 的 规则 ， 用 户 可 以 看 到 并 理解 系统 使 用 的 知识 
块 。 相 反 ， 在 神经 网 络 中 ， 不 能 把 单个 的 突 触 权 重 看 做 离散 的 知识 片 。 在 这 里 ， 知 识 戏 人 到 整个 
网 络 中 ， 它 不 能 够 分 解 成 单个 的 块 ， 且 突 触 权 重 的 任何 改变 都 可 能 导致 不 可 预测 的 结果 ， 神 经 网 
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络 对 于 用 户 而 言 实 际 上 是 个 黑 盒子 。 

专家 系统 不 能 学 习 ， 但 它 可 以 解释 它 是 如 何 得 到 解决 方案 的 。 神 经 网 络 可 以 学 习 ， 但 其 行为 
像 个 黑 盒子 。 因 此 ， 结 合 这 两 种 技术 的 优点 ， 我 们 可 以 创建 功能 更 强大 、 有 效 的 专家 系统 。 结 合 
了 神经 网 络 和 基于 规则 的 专家 系统 的 混合 系统 叫做 神经 专家 系统 (neural expert system) (或 连通 
式 专家 系统 ，connectionist expert system) 。 神 经 网 络 的 学 习 能 力 、 归 纳 能 力 、 健 壮 性 和 信息 并 行 
处 理 能 力 ， 使 得 它 成 为 构建 新 型 专家 系统 的 “正确 ”组 件 。 

图 8. 1 为 神经 专家 系统 的 基本 结构 。 和 基于 规则 的 专家 系统 不 同 ， 神 经 专家 系统 的 知识 库 用 
训练 过 的 神经 网 络 来 表示 。 


训练 数据 


T 








规则 抽取 


Iree 





图 8.1 神经 专家 系统 的 基本 结构 


神经 专家 系统 可 以 抽取 神经 网 络 中 的 IF-THEN 规则 ， 从 而 允许 它 判 断 和 解释 其 结论 。 

神经 专家 系统 的 核心 是 推理 引擎 。 它 控制 系统 的 信息 流 ， 并 在 神经 知识 库 中 发 起 推理 。 神 经 
推理 引 敬 也 能 进行 近似 推理 。 

什么 是 近似 推理 

在 基于 规则 的 专家 系统 中 ， 推 理 引擎 把 每 条 规则 的 条 件 部 分 和 数据 库 中 给 定 的 数据 进 
行 比较 。 如 果 规 则 的 正 部 分 和 数据 库 中 的 数据 相 匹配 ， 则 激发 规则 并 执行 其 THEN 部 分 。 
在 基于 规则 的 专家 系统 中 ,需要 精确 的 匹配 ， 因 此 ， 推 理 引 擎 不 能 够 处 理 噪 声 数 据 或 不 完 
整 的 数据 。 

神经 专家 系统 用 训练 过 的 神经 网 络 取 代 知 识 库 ， 神 经 网 络 能 够 归纳 。 换 句 话 说 ， 新 的 输入 数 
据 不 一 定 要 和 网 络 训练 中 使 用 的 数据 精确 匹配 ， 这 就 使 得 神经 专家 系统 能 够 处 理 噪声 数据 和 不 
完整 数据 。 这 种 能 力 称 为 近似 推理 。 

规则 抽取 单元 检查 神经 知识 库 ， 并 产生 隐 含 在 训练 过 的 神经 网 络 中 的 规则 。 

解释 工具 向 用 户 解 释 神经 专家 系统 是 如 何 使 用 新 的 输入 数据 得 到 某 个 结论 的 。 

用 户 界面 提供 了 用 户 和 神经 专家 系统 交互 的 途径 。 

神经 专家 系统 如 何 抽 取 规 则 并 证 明 其 推理 

网 络 中 的 神经 元 通过 链接 相连 ， 每 个 链接 有 一 个 数值 权重 。 训 练 过 的 神经 网 络 的 权重 决定 
了 相关 神经 元 输入 的 强度 或 重要 性 。 这 个 特征 用 于 抽取 规则 (Galant, 1993; Nikolopoulos, 
1997; Sestito and Dillon, 1991), 
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我 们 通过 一 个 简单 的 例子 来 说 明神 经 专家 系统 是 如 何 工 作 的 。 这 个 例子 是 分 类 问题 。 要 分 
类 的 对 象 属 于 鸟 、 飞 机 和 滑翔 机 之 一 。 用 于 解决 该 问题 的 神经 网 络 如 图 8. 2 所 示 。 这 是 一 个 三 层 
网 络 ， 第 一 层 和 第 二 层 是 完全 连接 的 ， 每 个 神经 元 上 标记 了 其 所 代表 的 概念 。 

第 一 层 是 输入 层 。 输 入 层 的 神经 元 简单 地 将 外 部 信和 号 传送 给 下 一 层 。 第 二 层 是 连接 层 。 这 一 
_“ 层 的 神经 元 使 用 的 符号 激活 函数 为 : 
e [tl X20 
Y "LE co (8.1) 
其 中 ,对 为 神经 元 的 净 权重 输入 ， 


X = » xw, 
x; 和 w; 分 别 为 输入 i 的 值 和 它 的 权重 。n 为 输入 神经 元 的 数量 。 

第 三 层 是 输出 层 。 在 本 例 中 ， 每 个 输出 神经 元 接收 一 个 来 自 于 连接 神经 元 的 输入 。 第 二 层 和 
第 三 层 之 间 的 权重 设置 为 单位 值 。 

你 可 能 已 经 注意 到 ，IF -THEN 规则 可 以 很 自然 地 映射 到 三 层 神 经 网 络 中 ， 其 中 第 三 层 (dE 
HEE) 为 规则 的 结果 部 分 。 此 外 ， 给 定 规则 的 强度 或 确信 因子 ， 可 以 和 各 自 连 接 及 非 连接 的 
神经 元 的 权重 联系 起 来 (Fu, 1993; Kasabov，2007) 。 稍 后 ， 我 们 将 讨论 如 何 将 规则 上 映射 到 神经 
网 络 中 ， 不 过 现在 我 们 要 先 回 到 我 们 的 例子 中 。 

神经 知识 库 用 一 个 训练 实例 集 进行 训练 。 图 8. 2 显示 了 第 一 层 和 第 二 层 之 间 的 实际 数值 权 
重 。 假 设 现在 将 输入 层 的 每 个 输入 设置 成 +1 ( 真 ), 或 -1 ( 假 ), 或 0 (未 知 ) ， 就 可 以 对 任何 
输出 神经 元 的 动作 进行 语义 解释 。 例 如 ， 如 果 对 象 有 Wings (+1), Beak (+1) 和 Feathers 
(+1), 但 没有 Engine ( -1)， 则 可 以 得 出 对 象 为 Bird (+1) 的 结论 : 

Kru 71 X (20.8) 40x( 7-02) +1x2.2+1x2.8+(-1)x(-1.1) 
=5.3>0 
Y puei = Ys = +1 


X(Wings) 


+1 


+] 






飞机 (Plane) 
-1 





滑翔 机 (Glider) 
0 


-l 


图 8.2 神经 知识 库 


同样 ， 可 以 得 到 该 对 象 不 是 Plane 的 结论 : 
Xu =1X( 0.7) +0x(-0.1)+1x0.0+1x(-1.6)+(-1)x1.9 
= -4.2 <0 


Y guz = Ypie = — 1 
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对 象 也 不 是 Glider: 
Krua 71x(-0.6) +0x(-1.1)+1lx(-1.0)+1lx(-2.9)+(-1)x( -1.3) 
= -4.2<0 


Yh = Yo, =- 1 


现在 ， 给 每 个 输入 神经 元 附加 上 相应 的 问题 : 


神经 元 : 翅膀 (Wings) 问题 : 对 象 有 翅膀 吗 ? 
神经 元 : 尾巴 〈Tail) 问题 : 对 象 有 尾巴 吗 ? 
神经 元 : UR (Beak) 问题 : Xp ERU RATS? 


神经 元 : 羽毛 (Feathers) 问题 : 对 象 有 羽毛 吗 ? 

神经 元 : 引擎 (Engine) HE: 对 象 有 引擎 吗 ? 
我 们 可 以 让 系统 提示 用 户 为 输入 变量 赋 初 始 值 。 系 统 的 目的 首先 是 要 得 到 最 重要 的 信息 ， 然 后 
是 尽快 地 得 到 结论 。 

系统 如 何 知道 最 重要 的 信息 是 什么 ， 以 及 是 否 有 足够 的 信息 得 到 结论 

某 个 输入 神经 元 的 重要 性 由 该 输入 的 权重 的 绝对 值 确 定 。 例 如 ， 对 名 为 “规则 1” 的 神经 
元 ， 输 入 Feathers 的 重要 性 比 输入 Wings 的 重要 性 高 。 因 此 ， 可 以 为 系统 建立 下 面 的 对 话 : 


PURSUING: 

> Bird 

ENTER INITIAL VALUE FOR THE INPUT FEATHERS: 
> 十 1 


现在 的 任务 是 看 一 下 得 到 的 信息 是 否 足 够 做 出 结论 。 为 此 ， 我 们 可 以 使 用 下 面 的 启发 式 规则 
(Gallant, 1993) : 如 果 神 经 元 已 知 的 净 权 重 输入 大 于 未 知 输入 的 权重 的 绝对 值 的 和 ， 则 可 以 进行 
推理 。 

该 启发 式 规则 的 数学 表达 式 为 : 


Y au, > 5 | wl (8.2) 
Hp, ie KNOWN, je KNOWN, FH n 为 神经 元 输入 的 数量 。 
本 例 中 ， 如 果 输 入 Feathers 变 成 已 知 ， 则 可 以 得 到 : 


KNOWN = 1 x 2.8 = 2.8 
UNKNOWN = | - 0.8| + | 0.2] + |2.2| + | - 1.1] = 4.3 
KNOWN < UNKNOWN 


因此 ， 还 不 能 进行 神经 元 规则 1 的 推导 。 还 要 求 用 户 提供 下 一 个 最 重要 的 输入 的 值 ， 输 入 Beak : 
ENTER INITIAL VALUE FOR THE INPUT BEAK: 
>+1 


现在 有 
KNOWN =1x2.8+1x2.2=5.0 
UNKNOWN = | - 0.8| + | - 0.2] -| 2 1.1] = 2.1 
KNOWN » UNKNOWN 


因此 ， 根 据 启 发 式 规则 (8.2) ， 便 可 以 得 出 下 面 的 推理 ， 

CONCLUDE: BIRD IS TRUE 
其 中 ，KNOWN 给 出 了 神经 元 “规则 1” 的 净 权 重 输入 ，UNKNOWN 说 明 引 起 净 输 入 改变 的 未 知 
输入 的 最 坏 可 能 。 本 例 中 ， 净 权重 输入 的 改变 不 会 超过 +2.1。 因 此 ， 无论 未 知 输入 是 什么 ， 神 
经 元 规则 1 的 输出 都 应 该 大 于 0， 所 以 可 以 得 到 Bird 必 为 真 的 推理 。 

现在 检查 如 何 抽取 单个 的 规则 来 证 明 推 理 。 在 这 里 ， 我 们 使 用 一 个 只 关注 和 问题 中 的 神经 
元 直接 关联 的 神经 元 的 简单 算法 (Gallant，1988 ) 。 再 次 考虑 图 8. 2 所 示 的 例子 ， 判 断 Bird 为 真 
的 推理 。 因 为 第 一 层 中 的 所 有 神经 元 都 直接 和 神经 元 “规则 1” 相连 ， 所 以 可 以 预期 抽取 的 规则 
涉及 所 有 的 5 个 神经 元 : Wings, Tail, Beak, Feathers 和 Engine, 
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首先 ， 确 定 所 有 起 作用 的 输入 和 每 个 输入 贡献 的 大 小 〈GCallant，1993 ) 。 如 果 输 入 i 不 会 在 
相反 方向 上 移动 净 权 重 输入 ， 就 认为 其 是 有 作用 的 。 贡 献 的 大 小 由 起 作用 的 输入 的 权重 的 绝对 
{Hi | w, | 确定 。 

然后 ， 将 所 有 有 贡献 的 输入 根据 其 大 小 按 降 序 排列 。 在 本 例 中 ， 对 推理 “Bird HH” UR 
献 的 输入 列表 如 下 : 

输入 : Feathers 大 小 : 2.8 

fA: Beak 大 小 : 2.2 

eA; Engine ”大 小 : 1.1 

BA: Tail 大 小 : 0.2 
通过 列表 可 以 创建 规则 ， 其 条 件 部 分 用 贡献 最 大 的 输入 来 表示 : 


IF Feathers is true 
THEN Bird is true 


接 下 来 就 要 证 明 该 规则 。 换 句 话说 ， 要 确保 规则 能 够 通过 有 效 性 测试 。 可 以 用 启发 式 规 则 
(8.2) 来 证 明 : 


KNOWN = 1 x 2.8 = 2.8 
UNKNOWN = | — 0.8| + | — 0.2| + |2.2] + | 1.1] = 4.3 


KNOWN < UNKNOWN 
规则 现在 还 是 无 效 的 ， 因 此 需要 增加 贡献 次 大 的 输入 作为 该 规则 条 件 部 分 的 一 个 子 句 : 
IF Feathers is true 


AND Beak is true 

THEN Bird is true 
现在 得 到 : 

KNOWN = 1 x 2.8 + 1 x 2.2 = 5.0 

UNKNOWN = | — 0.8} + | - 0.2| 4 |- 11|=2.1 

KNOWN > UNKNOWN 
该 规则 通过 了 有 效 性 测试 。 这 也 是 最 大 通用 规则 ， 也 就 是 说 ， 去 除了 所 有 导致 无 效 的 条 件 
T^ o ` 

类 似 地 ， 可 以 得 到 证 明 推 理 Plane 为 假 和 Glider 为 假 的 规则 : 

IF Engine is false ` 


AND Feathers is true 
THEN Plane is false 








IF Feathers is true 
AND Wings is true 
THEN Glider is false 


该 例 也 说 明了 即使 在 数据 不 完整 的 情况 下 ， 神 经 专家 系统 也 可 以 得 到 有 用 的 结论 (例如 ， 
在 本 例 中 Tail 是 未 知 的 ) 。 

在 本 例 中 ， 假 设 神经 专家 系统 拥有 正确 的 经 过 训练 的 神经 知识 库 。 然 而 ， 在 真实 世界 中 , 训 
练 数据 通常 是 不 充分 的 。 我 们 也 假设 对 问题 领域 没有 任何 先 验 知识 。 实 际 上 ， 我 们 通常 会 有 一 些 
不 完善 的 相关 知识 。 我 们 能 否 用 领域 知识 来 确定 神经 知识 库 的 初始 结构 ， 然 后 用 给 定 的 训练 数 
据 集 来 训练 它 ， 最 后 将 已 训练 的 神经 网 络 解 释 为 下 — THEN 规则 集 ? 

前 面 提 到 过 ， 表 达 知 识 领域 的 正 THEN 规则 和 集 可 以 映射 到 多 层 神 经 网 络 中 。 图 8.3 显示 了 
一 组 映射 到 5 层 神经 网 络 的 规则 集 。 合 取 层 和 析 取 层 的 权重 表明 了 规则 的 强度 ， 因 此 可 以 认为 它 
是 相关 规则 的 确信 因子 。 

在 建立 起 神经 网 络 知识 库 的 初始 结构 后 ， 就 可 以 根据 给 定 的 训练 数据 集 来 训练 网 络 了 。 这 
可 以 使 用 反 向 传播 算法 这 样 的 合适 的 训练 算法 来 完成 。 训 练 阶段 完成 时 ， 检 查 神经 网 络 知识 库 ， 
提取 并 改进 〈 如 果 需 要 ) 最 初 的 还 -THEN 规则 集 。 因 此 ， 神 经 专家 系统 可 以 使 用 下 -THEN 规 
则 表示 的 领域 知识 ， 也 可 以 使 用 数值 数据 集 。 实 际 上 ， 神 经 专家 系统 提供 了 神经 网 络 和 基于 规则 
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规则 1: 规则 5: 
IF a1 AND a3 THEN 51(0.8) IF a5 THEN 53 (0.6) 


规则 2: 规则 6: 
IF al AND a4 THEN 51(0.2) IF al AND 53 THEN c1(0.7) 


规则 3: 规则 7; 
IF a2 AND a5 THEN 62(-0.1) IF 52 THEN c1(0.1) 


规则 4: 规则 8: 
IF a3 AND a4 THEN 53(0.9) IF 52 AND 53 THEN c2(0.9) 





输入 层 合 取 层 HRE 合 取 层 析 取 层 








图 8.3 多 层 知 识 库 的 例子 


的 系统 之 间 的 双向 链接 。 

遗憾 的 是 ， 神 经 专家 系统 仍旧 受到 布尔 逻辑 的 限制 ， 要 想 表 达 连 续 输 入 变量 ， 可 能 导致 规则 
的 无 限 增长 。 这 就 严重 限制 了 神经 专家 系统 的 应 用 领域 。 克 服 这 个 问题 的 一 般 方法 是 使 用 模糊 
逻辑 。 


8.3 神经 -模糊 系统 


模糊 逻辑 和 神经 网 络 是 构建 智能 系统 的 两 种 相互 补充 的 工具 。 神 经 网 络 是 低级 的 计算 结构 ， 
处 理 原始 数据 时 性 能 良好 ， 模 糊 逻 辑 使 用 从 领域 专家 那里 获取 的 语言 信息 进行 高 级 推理 。 但 是 
模糊 系统 没有 学 习 的 能 力 ， 并 且 不 能 在 新 的 环境 中 调整 自己 。 另 外 ， 神 经 网 络 虽然 可 以 学 习 ， 但 
它们 对 于 用 户 而 言 是 不 透明 的 。 将 神经 网 络 和 模糊 系统 融合 进 一 个 集成 的 系统 ， 为 构建 智能 系 
统 提供 了 有 希望 的 方法 。 集 成 的 神经 模糊 系统 可 以 将 神经 网 络 的 并 行 计算 和 学 习 能 力 与 模糊 系 
统 的 类 似 于 人 类 的 知识 表达 方式 和 解释 能 力 结合 起 来 。 这 样 ， 神 经 网 络 变 得 更 透明 ， 而 模糊 系统 
也 有 了 学 习 能 力 。 

实际 上 ,神经 -模糊 系统 是 功能 相当 于 模糊 推理 模型 的 神经 网 络 。 可 以 训练 它 来 开发 下 - 
THEN 模糊 规则 以 及 确定 该 系统 输入 和 输出 变量 的 隶属 函数 。 专 家 的 知识 可 以 很 容易 地 整合 到 神 
经 -模糊 系统 的 结构 中 。 同 时 ， 这 种 组 合 结构 避免 了 需要 大 量 计 算 的 模糊 推理 。 

神经 ~ 模糊 系统 看 上 去 是 什么 样 

神经 -模糊 系统 的 结构 和 多 层 神经 网 络 很 相似 。 通 常 ， 神 经 -模糊 系统 有 输入 层 和 输出 层 
以 及 3 个 隐 含 层 ， 隐 含 层 用 来 表示 隶属 函数 和 模糊 规则 。 

图 8. 4 为 Mamdani 模糊 推理 模型 ， 图 8. 5 为 该 模型 相应 的 神经 -模糊 系统 。 为 了 简单 起 见 ， 
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我 们 假设 模糊 系统 有 两 个 输入 xl 和 人 达 ， 一 个 输出 y。 输 入 xl 用 模糊 集 4, 、4: A Bea, HA 22 
用 模糊 集 B, ` B,. B, 表示 ， 输出 y 用 模糊 集 C, ` C, 来 表示 。 


模糊 化 和 规则 评价 


AND  2a2isBl(ug) 


AND x2 is B3 (ug) 


yis Cl (per) yis C2 (uc? ) 


8.4 Mamdani 模糊 推理 系统 
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第 1 层 mE 第 4 层 第 5 层 


第 3 层 
清晰 输入 ”输入 隶属 函数 模糊 规则 输出 隶属 函数 去 模糊 化 





图 8.5 神经 -模糊 等 价 系统 


神经 -模糊 系统 的 每 一 层 都 和 模糊 推理 过 程 的 菜 个 步骤 关联 。 
第 1 层 是 输入 层 ， 该 层 中 的 每 个 神经 元 将 外 部 清晰 的 信号 直接 传递 给 下 一 层 ， 即 
yb =x,” (8.3) 
Ep, xf. y? 分 别 是 第 1 层 神经 元 i 的 输入 和 输出 。 

第 2 层 是 输入 成 员 层 或 模糊 化 层 。 该 层 的 神经 元 表示 模糊 规则 的 前 项 使 用 的 模糊 集 。 模 糊 化 
神经 元 接收 到 清晰 的 输入 后 ， 确 定 该 输入 属于 神经 元 模糊 集 的 程度 ， 如 下 所 述 。 

成 员 神 经 元 的 激活 函数 设置 成 指定 神经 元 模糊 集 的 函数 。 图 8. 4 的 例子 中 使 用 三 角形 
集合 。 因 此 ,第 2 层 的 神经 元 的 激活 函数 设置 为 三 角形 隶属 函数 (虽然 模糊 化 神经 元 可 能 
有 模糊 系统 通常 使 用 的 隶属 函数 ) 。 三 角形 隶属 函数 可 以 使 用 下 面 的 两 个 参数 {a,b} 来 
指定 : 





0, E aU <a- — 
(2) _ 
y = jE al Pa-tea cart (8. 4) 
0 Ha dart 
H+, She 和 5 分 别 控制 三 角形 的 中 心 和 宽度 ，x!” 和 yl” 分 别 是 第 2 层 模 糊 化 神经 元 i 的 输 


人 和 输出 。 

图 8. 6 描述 了 三 角形 函数 及 参数 a 和 4 的 变化 产生 的 效果 。 可 以 看 出 ， 模 糊 化 神经 元 的 输出 
不 仅 取决 于 输入 ， 还 受 三 角形 激活 函数 的 中 心 a 和 宽度 b 的 限制 。 神 经 元 输入 可 以 保持 不 变 , 但 
参数 a RI b 的 改变 可 以 使 输出 发 生变 化 。 换 句 话说 ， 神 经 -模糊 系统 中 模糊 化 神经 元 的 参数 a 和 
b 的 作用 如 同 神经 网 络 中 的 突 触 权重 。 

第 3 层 是 模糊 规则 层 。 该 层 的 每 个 神经 元 都 与 一 个 模糊 规则 相对 应 。 模 糊 规 则 神经 元 接收 来 
自 于 模糊 化 神经 元 的 输入 ， 表 示 模 糊 层 是 模糊 规则 的 前 项 。 例 如 ， 神 经 元 RI 和 规则 1 对 应 ， 它 
接收 来 自 神经 元 41 和 B1 的 输入 。 

在 模糊 系统 中 ， 如 果 给 定 的 规则 有 多 个 前 项 ， 那 么 模糊 操作 得 出 一 个 数值 ， 该 数值 描述 评估 
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让 
a) 参数 a 的 效果 b) 参数 b 的 效果 


图 8. 6 ”模糊 神经 元 的 三 角形 激活 函数 


前 项 的 结果 。 规 则 前 项 的 连接 用 模糊 操作 “ 交 ” 来 评估 。 使 用 相同 的 模糊 操作 可 以 合并 模糊 规 
则 神经 元 的 多 个 输入 。 在 模糊 - 神经 系统 中 ,“ 交 ”可 以 用 乘积 操作 实现 。 因 此 ， 第 3 层 的 神经 
26 i 的 输出 为 : 
y Sap Xag X XA (8.5) 
FOR, D. xg), s ai 为 第 3 层 模糊 规则 神经 元 OSA, y 为 输出 。 例 如 : 
Ya = Xa = Hn 
Am 的 值 表示 模糊 规则 神经 元 R1 的 激活 强度 。 

第 3 层 和 第 4 层 之 间 的 权重 表示 相应 模糊 规则 的 可 信 度 〈 即 确信 因子 ) 的 归 一 化 程度 。 这 
些 权重 可 以 在 训练 神经 - 模糊 系统 的 时 候 调 整 。 

什么 是 模糊 规则 可 信和 度 的 归 一 化 程度 

神经 — 模糊 系统 中 的 不 同 规则 可 能 和 不 同 的 可 信和 度 有 关 。 在 图 8. 4 中 ， 专 家 可 能 将 可 信 的 程 
度 和 每 个 模糊 TF- THEN 规则 关联 起 来 ， 并 将 权重 设置 在 [0，1] 区 间 内 。 但 在 训练 过 程 中 ， 权 
重 可 能 发 生 改 变 。 要 将 权重 值 保持 在 指定 的 范围 内 ， 就 要 在 每 次 迭代 中 ， 通 过 将 各 自 的 权重 值 除 
以 最 高 的 权重 ， 这 就 是 权重 的 归 一 化 。 

第 4 层 是 输出 成 员 层 。 该 层 中 的 神经 元 表示 模糊 规则 后 项 中 使 用 的 模糊 集 。 输 出 成 员 神经 元 
接收 相应 模糊 规则 神经 元 的 输入 ， 并 通过 模糊 操作 “并 ”将 这 些 输入 合并 。 该 操作 可 以 通过 概 
率 论 的 OR 操作 〈 即 代数 和 ) 实现 ， 即 

y? =e Ox g- Qt? (8. 6) 
Rh, a), a, on, ay WA, ye E NUR 径 元 i 的 输出 。 例如 ， 
ya =H Obes = 

La 的 值 表示 模糊 规则 神经 元 R3. 和 R6 的 综合 激发 强度。 实际 上 输出 成 员 层 的 神 经 元 激发 强 
度 的 合并 方式 和 图 8. 4 所 示 的 模糊 规则 真 值 的 合并 方式 相同 。 

在 Mamdani 模糊 系统 中 ， 输 出 模糊 集 用 相应 模糊 规则 的 真 值 来 剪 切 。 在 神经 - 模糊 系统 中 ， 
剪 切 输出 成 员 神经 元 的 激活 函数 。 例 如 ， 神 经 元 C1 的 隶属 函数 用 综合 激发 强 摩 wa 表 示 。 

第 5 层 是 去 模糊 化 层 。 该 层 中 的 每 个 神经 元 表示 神经 -模糊 系统 的 一 个 输出 。 使 用 集成 的 激 
发 强度 删除 输出 模糊 集 ， 并 将 其 合成 为 一 个 单一 的 模糊 集 。 

神经 — 模糊 系统 的 输出 是 清晰 的 ， 因 此 合并 输出 模糊 集 必 须 进 行 去 模糊 化 。 神 经 -模糊 系 
统 可 以 使 用 标准 的 去 模糊 化 方法 ， 其 中 包括 质心 技术 。 在 本 例 中 ， 我们 使 用 的 是 和 - 乘积 合成 方 
法 (Jang et al. ，1997) ， 这 种 方法 为 Mamdani 类 推理 提供 了 计算 捷径 。 

和 -乘积 合成 方法 计算 出 清晰 的 输出 ， 并 将 结果 作为 所 有 输出 隶属 函数 质心 的 权重 平均 值 。 
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例如 ， 剪 切 后 的 模糊 集 C1 和 C2 的 质心 平均 权重 的 计算 方法 是 : 
Ha X925 X ba tHo X aw X be 

Ho Xba tua Xba 
EP, aaao HPD, ba 和 3 分 别 是 模糊 集 Cl 和 C2 的 宽度 。 

神经 -模糊 系统 如 何 学 习 

神经 - 模糊 系统 本 质 上 是 多 层 神 经 网 络 ， 因 此 ， 它 可 以 使 用 专用 于 神经 网 络 的 标准 学 习 算 
法 ， 其 中 包括 反 向 传播 算法 (Lin and Lee, 1996; Nauck et al. , 1997; Von Altrock, 1997; Kas- 
abov，2007) 。 在 对 系统 应 用 训练 所 需 的 输入 /输出 例子 时 ， 反 向 传播 算法 会 计算 系统 的 输出 并 和 
该 训练 例子 的 期 望 输出 作 比 较 。 它 们 之 间 的 差 ( 也 称 作 误 差 ) 由 输出 层 反 向 传播 到 网 络 的 输入 
层 。 在 误差 传递 时 修改 神经 元 激活 函数 。 为 了 确定 必要 的 修改 ， 反 向 传播 算法 会 区 分 不 同 神经 元 
的 激活 函数 。 

下 面 我 们 通过 一 个 简单 的 例子 来 说 明神 经 - 模糊 系统 是 如 何 工作 的 。 图 8.7 为 三 维 输 
AS d 23 [RI XI x X2 x 了 中 100 个 训练 模式 的 分 布 情况 。 这 里 的 每 个 训练 模式 用 3 个 变量 来 
确定 : 两 个 输入 变量 xl 和 *2 及 一 个 输出 变量 y。 输 入 和 输出 变量 用 两 个 语言 变量 表示 : 
small (S) ll large (L), 


(8.7) 





y 





图 8.7 三 维 输入 /输出 空间 的 训练 模式 


图 8. 7 中 的 数据 集 用 来 训练 图 8. 8a 中 的 5 个 规则 的 神经 - 模糊 系统 。 假 设 系统 结构 中 的 模 
糊 IF — THEN 规则 是 由 领域 专家 提供 的 。 先 前 的 或 现 有 的 知识 可 以 显著 加 快 系统 训练 的 速度 。 此 
外 ， 如 果 训 练 数 据 的 质量 不 佳 ， 专 家 的 知识 就 是 得 到 解决 方案 的 唯一 途径 。 但 是 ， 专 家 偶尔 也 会 
犯错 。 因 此 神经 — 模糊 系统 中 的 某 些 规则 可 能 是 错误 的 或 是 多 余 的 〈 例 如 在 图 8. 8a 中 ， 规则 1 
或 规则 2 可 能 是 错误 的 ， 因 为 它们 的 下 部 分 完全 相同 ， 而 THEN 部 分 则 不 同 ) 。 因 此 ， 神 经 - 模 
糊 系 统 应 该 能 够 识别 这 些 不 好 的 规则 。 

在 图 8. 8a 中 ,第 3 层 和 第 4 层 间 的 初始 权重 被 设置 为 单位 值 。 在 训练 中 ， 神 经 -模糊 
系统 使 用 反 向 传播 算法 调节 权重 并 修改 输入 和 输出 隶属 函数 。 训 练 过 程 会 持续 到 误差 的 平 
方 和 小 于 0. 001 为 止 。 在 图 S. 8b 可 以 看 到 ， 权 重 Wp 降低 为 0， 而 其 他 的 权重 还 很 高 。 这 
表明 ， 规 则 2 是 完全 错误 的 ， 因 此 可 以 在 对 神经 -模糊 系统 没有 任何 危害 的 情况 下 将 它 去 
除 。 此 系统 还 有 4 条 规则 ， 你 可 能 已 经 注意 到 了 ， 这些 规则 表明 了 异 或 操作 (XOR) 的 
行为 。 

本 例 使 用 的 训练 数据 中 包含 很 多 和 XOR 操作 不 一 致 的 “ 坏 ” 模 式 。 但 是 ， 神 经 -模糊 系统 
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b) 50 个 周期 的 训练 
图 8. 8 ”进行 异 或 操作 的 5 个 规则 的 神经 -模糊 系统 


依然 有 能 力 识别 这 些 错 误 的 规则 。 

EXOR 例子 中 ,专家 给 出 了 5 条 模糊 规则 ， 其 中 一 条 是 错误 的 。 另 外 ， 我 们 也 不 能 确定 
“专家 ”是 否 遗 漏 了 一 些 规则 。 我 们 该 如 何 减 少 对 专家 知识 的 依赖 呢 ? 神经 -模糊 系统 能 否 直 接 
从 数值 数据 中 抽取 规则 呢 ? 

给 定 输入 和 输出 的 语言 值 ， 神 经 - 模糊 系统 就 可 以 自动 产生 完整 的 模糊 TF- THEN 规则 集 。 
图 8. 9 展示 了 为 XOR 例子 创建 的 系统 。 该 系统 包含 2” x2 =8 条 规则 。 由 于 本 例 系统 不 包含 专家 
的 知识 ， 因 此 我 们 将 第 3 层 和 第 4 层 的 初始 权重 设 为 0.5。 训 练 后 ， 可 以 排除 确信 因子 小 于 一 个 
很 小 的 数 (例如 0.1) 的 所 有 规则 。 结 果 ， 得 到 了 完全 相同 的 表示 XOR 操作 的 、 有 4 条 模糊 
IF -THEN 规 则 的 规则 集 。 这 个 简单 的 例子 证 明了 神经 - 模糊 系统 确实 可 以 直接 从 数值 数据 中 抽 
取 模糊 规则 。 

模糊 逻辑 和 神经 网 络 的 结合 是 设计 智能 系统 的 强 有 力 的 工具 。 人 类 专家 可 以 把 领域 知识 以 
语言 变量 和 模糊 规则 的 形式 放 和 神经 模糊 系统 中 。 如 果 可 以 得 到 有 代表 性 的 例子 的 集合 ， 神 经 
模糊 系统 可 以 自动 将 其 转换 成 一 组 强壮 的 模糊 IF — THEN 规则 ， 这 样 在 构建 智能 系统 时 就 可 以 减 
少 对 专家 知识 的 依赖 。 

到 目前 为 止 ， 我 们 讨论 了 实现 Mamdani 模糊 推理 模型 的 神经 - 模糊 系统 。 但 是 ，Sugeno 模 
型 才 是 目前 基于 数据 的 模糊 建 模 的 最 常用 的 选择 。 

Roger Jang 提出 了 和 Sugeno 模糊 推理 模型 功能 一 致 的 神经 网 络 (Jang，1993)。 他 称 之 为 自 
适应 的 神经 ~ 模糊 推理 系统 (Adaptive Neuro-Fuzzy Inference System, ANFIS) 。 
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周期 
b) 50 个 周期 的 训练 


图 8.9 用 于 异 或 操作 的 带 有 8 个 规则 的 神经 -模糊 系统 


8.4 ANFIS 


Sugeno 模糊 模型 是 一 种 用 来 在 给 定 的 输入 /输出 数据 集中 产生 模糊 规则 的 系统 方法 。 一 个 典 
型 的 Sugeno 模糊 规则 可 以 表达 成 以 下 形式 : 

AND uis A 

AND Xm is Am 

THEN y=f(x1,X2,---, Xm) 
FH, x, m, +, x, 为 输入 变量 ，4, ，4, ，…，4。 为 模糊 集 ; y 要 么 是 常数 ， 要 么 是 输入 变量 
的 线性 函数 。 如 果 y 是 常数 ， 我 们 将 得 到 零 阶 Sugen 模糊 模型 ， 其 中 规则 的 结果 由 一 个 单 件 决 
定 。 如 果 y 是 一 阶 多 项 式 函数 ， 即 

ysk thx, thx, te tkut 

就 可 以 得 到 一 阶 Sugeno 模糊 模型 。 

Jang 的 ANFIS 通常 用 6 层 的 前 馈 神经 网 络 来 表示 。 图 8. 10 为 一 阶 Sugeno 模糊 模型 对 应 的 
ANFIS 体系 结构 。 为 了 简单 起 见 ， 我 们 假设 ANFIS 有 两 个 输入 x1 和 *2， 一 个 输出 y。 每 个 输入 
用 两 个 模糊 集 来 表示 ， 输 出 用 一 阶 多 项 式 表示 。ANFIS 实现 如 下 的 4 个 规则 : 
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规则 1: 规则 2: 
IF 


xl is Al IF x1 is A2 
AND  x2is Bl AND  x2isB2 
THEN y-fi = kio +k11¥1] 十 Ki2X2 THEN y= fz = kz + Kai X1 + K2x2 
规则 3: 规则 4: 
IF x1 is AZ IF x1is Al 
AND x2 is Bl AND x2 is B2 


THEN y= fz = Kao + k31x1 + Ka2x2 THEN y= fg = ko + Kai x1 + Ka2x2 
其 中 ，xl 各 为 输入 变量 ，41 和 42 BIC X1 上 的 模糊 集 Bl1 和 B2 ERA 上 的 模糊 集 ; 
kos kay ko ARM i 指定 的 参数 集 。 


第 1 层 第 2 层 第 3 层 第 4 层 xl 22 SE 第 6 层 





图 8.10 自 适 应 神经 - 模糊 推理 系统 ( ANFIS) 


我 们 现在 来 讨论 Jang 的 ANFIS 中 每 一 层 的 作用 。 
第 1 层 是 输入 层 。 该 层 的 神经 元 简单 地 将 外 部 清晰 的 信号 传送 给 第 2 层 ， 即 


和 (8.8) . 


Rb, x 是 第 1 层 中 的 输入 神经 元 ;的 输入 ，y?" 是 第 1 层 中 输入 神经 元 i 的 输出 。 

第 2 层 是 模糊 化 层 。 该 层 中 的 神经 元 执行 模糊 化 操作 。 在 Jang 的 模型 中 ,模糊 化 神经 元 有 
—4 446 RI BR (bell activation function) 。 

钟 形 激 活 函 数 为 规则 的 钟 形 形 状 ， 其 定义 为 : 


9 = 一 一 本 一 (8.9) 





其 中 , ”是 第 2 层 中 的 神经 元 i 的 输入 ，y;” 是 第 二 层 输 入 神经 元 的 输出 。a;、5,、c; 分 别 为 控 
制 神经 元 ;的 钟 形 激活 函数 的 中 心 、 宽 度 和 和 斜率 的 参数 。 

第 3 层 是 规则 层 。 该 层 中 的 每 个 神经 元 和 Sugeno 类 型 的 单个 模糊 规则 相对 应 。 规 则 神经 元 
从 各 自 的 模糊 化 神经 元 接收 输入 ， 并 计算 它 表 示 的 规则 激发 强度 。 在 ANFIS 中 ， 规 则 前 项 的 连 
接 由 操作 “乘积 ”来 评估 。 因 此 ， 第 3 层 的 神经 元 的 输出 可 表示 成 : 


y? = IES (8.10) 
ER, a. Aly? 分别 为 第 3 层 规则 神经 元 i 的 输入 和 输出 。 例 如 ， 


ym SMa Xba = 人 
其 中 , u 的 取 值 代表 规则 1 的 激发 强度 或 真 值 。 
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278 


184 . 第 8 章 混合 智能 系统 


第 4 层 是 归 一 化 层 。 该 层 的 每 个 神经 元 接收 来 自 规则 层 的 所 有 神经 元 的 输入 ， 并 计算 给 定 规 
则 的 归 一 化 激发 强度 。 
归 一 化 强度 是 给 定 规则 的 激发 强度 和 所 有 规则 激发 强度 的 总 和 的 比值 。 它 表示 给 定 规则 对 


最 终结 果 的 贡献 。 
因此 ,第 4 层 神 经 元 i 的 输出 为 : 
(4) xt? Hi — 
yo = =n E L (8.11) 
2s o Au 
Hh, us? 58 4 层 神经 元 i 从 第 3 层 的 神经 元 /处 接收 的 输入 ，n 为 规则 神经 元 的 总 数 。 例 如 ， 
Yer = 名 m 


pr tHe +My +h 
第 5 层 是 去 模糊 化 层 。 该 层 中 的 每 个 神经 元 均 连 接 到 各 自 的 归 一 化 神经 元 上 ， 同 时 接收 初始 
输入 xl 和 4*2。 去 模糊 化 神经 元 计算 给 定 规则 的 带 权重 的 后 项 值 ， 


y? af [hig + axle hx2] = [kis El + hax2] (8.12) 
Heb, a? Aly? 分 别 为 第 5 层 去 模糊 化 神经 元 i BRAME, kos kas ka ÆR i 的 后 项 参 


数 的 集合 。 
第 6 层 表示 为 一 个 总 和 和 神经 元 。 该 神经 元 计算 所 有 去 模糊 化 神经 元 输出 的 总 和 ， 并 产生 最 后 
的 ANFIS 输出 y: 


y= DE = Pn Es + kaxl + kax2] (8.13) 
i=l i=l 


因此 ， 图 8. 10 所 示 的 ANFIS 在 功能 上 却 是 相当 于 一 阶 Sugeno 模糊 模型 。 

但 是 ， 以 多 项 式 形式 指定 规则 后 项 非常 困难 ， 甚 至 是 不 可 能 的 。 因 此 ， 在 ANFIS 处 理 问 题 
时 ,没有 必要 给 出 规则 后 项 参数 的 任何 先 验 知识 。ANFIS 会 学 习 这 些 参数 并 调节 隶属 函数 。 

ANFIS 如 何 学 习 

ANFIS 使 用 混合 学 习 算 法 ， 这 种 算法 融合 了 最 小 二 乘 估计 和 梯度 下 降 法 (Jang, 1993), 。 首 
先 ， 将 初始 激活 函数 指定 给 每 个 成 员 神经 元 。 设 置 连接 到 输入 x, 的 神经 元 的 函数 中 心 ， 以 便 x, 
的 域 被 平均 分 割 ， 且 各 自 函 数 的 宽度 和 和 斜率 设置 成 允许 足够 的 重 和 至 。 

在 ANFIS 训练 算法 中 ， 每 个 周期 由 前 向 传递 和 反 向 传播 组 成 。 在 前 向 传递 中 ， 输 入 模式 的 
训练 集 (输入 向 量 ) 出 现在 ANFIS 中 ， 神 经 元 的 输出 要 一 层 一 层 地 计算 ， 规 则 后 项 参数 由 最 小 


二 乘 估计 表示 。 在 Sugeno 类 模糊 推理 中 ， 输 出 y 为 线性 函数 。 因 此 ， 给 定 隶 属 参数 的 值 和 P 输 


入 /输出 模式 的 训练 集 ， 就 可 以 通过 后 项 参数 建立 P 线性 方程 : 
y,0) 2m (DAC) tp OD t +4, D40) 
y, (2) =m (25 (2) +1 (2)5(2) * +, (0f, (2) 


- _ B (8.14) 
yp) =p Gf (p) +e GM) ++ +, OM.) 


y,CP) =m (Pf CP) +p (P) CP) & +u, CP)f, CP) 
或 者 
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y,(1) =p, (D [ho t Ex (1) + Ex (1) +e + hye, (1)] 
+ py (1) [Eg ok xl) + hye, (1) + +h, (1) ] + 
tu, (1) [hy tk x (1) thx, (1) ++ +h x, (1)] 
y,(2) =p, QD [ho ex (2) beu) + +e, (2) J 
tu, (2) [ky hax (2) kx, (2) t + eux, (2) ] + 
+ p,(2) [Est Q) ux (2) € b uax,(2)] 
_ (8. 15) 
ya(p) =m GO) Dy t by (p) + box, (p) t + hint mn (p)] 
+ Hy (p) [bg + bx (p) + Ex (p) + tux (P) ] + 
+a, p) ko tk (p) + kx (p) ti tk, x (p)] 


y, (UP) =p, (P) [a t E CP) tx (UP) n 6 Ex CP)] 
+ py (P) [hy + kx (P) + kx, (P) wi + ht, (P)] +e 
+u, (P)[ ky kx (P) c E ax, (P) ++: tk x, (P)] 
Et, m 是 输入 变量 的 个 数 ，n 是 规则 层 中 神经 元 的 个 数 。 当 输入 x,(p)，…， x (p). BF, yalp) 
为 ANFIS 的 期 望 总 输出 。 
若 使 用 和 矩阵 形式 ， 则 有 


y, =Ak (8. 16) 
Ht, y, 是 Px1 的 期 望 输出 向 量 ， 
y, (1) 
y, (2) 
Ja yp) 
y, CP) 
Aft Pxn(l+m) iE: 
wA) pr) ye) D aa) e Ce CL) 
BO) (2), (2) … mOxQOQ) … LO) (2), (2) … aOQ) 
Az : : wes : vee : : e. : 
BG) m) ce mx) ce m) auo) c ano) 
BO) ae (OP)R (P) … aus (ODROP). … n (OP) B, CP) (P) … A (OP)xLCP) 


k RAISES n(1 +m) x1 维 向 量 : 
k- [hoki hs hu e e es hes er uk ku Kam | T 
通常 训练 过 程 中 的 输入 /输出 模式 P 的 数量 要 大 于 后 项 参数 n(1 +m) 的 数量 。 这 就 意味 着 
我 们 在 处 理 一 个 超 定 的 问题 ， 而 公式 (8.16) 的 精确 解 可 能 并 不 存在 。 实 际 上 ， 我 们 应 该 找到 
的 最 小 二 乘 估计 磊 " ， 它 能 使 误差 平方 hk -y |? 最 小 ， 这 可 以 用 下 面 的 伪 逆 矩阵 技术 实现 : 
k^ -(A'A) "Aly, (8. 17) 
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其 中 , AT 是 4 SERE, TE ATA 是 非 奇 异 的 条 件 下 ，(4"4) AT 是 4 BU DEAE D 
一 量规 则 的 后 项 参数 确定 下 来 ， 我 们 就 可 以 计算 一 个 实际 的 网 络 输出 向 量 y， 并 确定 误差 向 量 6， 
e=y,-y | (8. 18) 
在 后 向 传递 过 程 中 ， 我 们 使 用 的 是 反 向 传播 算法 。 误 差 信号 向 后 传递 ， 同 时 根据 链 式 法 则 更 
新 前 项 参数 。 
例如 ， 要 修正 神经 元 Al 使 用 的 钟 形 激活 函数 的 参数 a， 我 们 使 用 如 下 的 链 式 法 则 : 














_ ðE _ _ ðE de oy a(n: f.) oy; Op; Ou, 
Aa- -a aa Ge * ay 3f.) às. au, * dua. x Ja (8. 19) 
其 中 ，a 是 学 习 速 率 , 巨 为 ANFIS 输出 神经 元 的 误差 平方 的 瞬时 值 ， 即 
1 2 1 2 
-leé-lq.- (8.20) 
因此 ， 有 
B; -u) Hi Mn 
Aa = -a(y,-y)( - Df, x " x x Ja (8.21) 
或 者 
一 一 Oa 
dasal -DARA cR) x (8.22) 
其 中 ， 
Ou 1 1 _ 2-1 _ 
ja ^ 站 /aa FEN. iX X26 x (xl a) x(-1) 
[+ (PS) |] 
2 2b 1- 2b-1 
Zhan xx (* c : 


同样 ， 我 们 可 以 对 参数 上 和 进行 修正 。 

在 Jang 提出 的 ANFIS 训练 算法 中 ， 前 项 参数 和 后 项 参数 都 要 优化 。 在 前 向 传递 过 程 中 ， 前 
项 参数 保持 固定 ， 调 整 后 项 参数 。 在 后 项 传递 中 ， 后 项 参数 保持 固定 而 调整 前 项 参数 。 但 是 ， 在 
某 些 情况 下 ， 输 入 /输出 数据 集 比 较 小 ， 隶 属 函 数 可 由 人 类 专家 描述 。 在 这 样 的 情况 下 ， 这 些 隶 
属 函数 在 训练 全 过 程 中 保持 固定 ， 只 有 后 项 参数 要 调整 (Jang et al ，1997 ) 。 

现在 我 们 来 证 明 ANFIS 在 函数 近似 方面 的 应 用 。 在 本 例 中 ，ANFIS 用 于 理解 下 面 公式 所 定义 
的 非 线 性 函数 的 轨迹 。 

- cos( 2s] ) 
e 

首先 选择 合适 的 ANFTS 框架 。 一 个 ANFIS 必须 有 两 个 输入 xl 各， 及 一 个 输出 y。 

通过 选择 产生 “满意 ”性 能 的 最 小 数量 的 隶属 函数 ， 来 确定 赋 给 每 个 输入 的 隶属 函数 的 数 
量 。 因 此 ， 试 验 性 的 研究 从 赋 给 每 个 输入 变量 的 两 个 隶属 函数 开始 。 

要 构建 ANFIS， 我 们 需要 选择 编程 语言 ， 例 如 CL/C ++ ,或 神经 - 模糊 开发 工具 。 我 们 选择 
最 常见 的 工具 一 一 MATLAB Fuzzy Logic Toolbox， 它 提供 了 构建 神经 - 模糊 推理 系统 的 系统 框架 ， 
并 能 基于 赋 给 每 个 输入 变量 的 隶属 函数 的 数量 来 自动 定义 规则 。 因 此 ， 在 本 例 中 ，ANFIS 用 4 个 
规则 来 定义 ， 并且 实际 上 有 如 图 8. 10 所 示 的 结构 。 

ANFIS 训练 数据 包含 101 个 训练 例子 。 它 用 101 x3 的 矩阵 [x1 x2 y,] Ha, He xl 和 x2 是 
输入 向 量 ,y, 是 所 期 望 的 输出 向 量 。 第 一 个 输入 向 量 x1 从 0 开始 ,每 次 递增 0. 1， 到 10 结束 。 第 二 
个 输入 向 量 世 用 xl 的 每 个 分 量 的 正弦 值 创建 。 最 后 ， 期 望 输出 向 量 y, 的 每 个 分 量 由 函数 方程 决定 。 
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函数 的 实际 轨迹 和 ANFIS 从 1 和 100 个 训练 周期 的 输出 如 图 8. 11 所 示 。 注 意图 8. 11a 表示 
第 一 次 用 最 小 二 乘法 计算 规则 后 项 参数 后 的 结果 。 可 以 看 到 ， 即 使 在 训练 了 100 个 周期 后 ，AN- 
FIS 的 性 能 仍 不 能 令 人 满意 。 


-一 训练 数据 oe ANFIS 输 出 





a) 工 个 周期 b) 100 个 周期 
图 8. 11 赋 给 每 个 输入 两 个 隶属 函数 的 ANFIS 的 学 习 


通过 增加 训练 周期 数 ， 我 们 可 以 改进 ANFIS 的 性 能 ， 但 是 把 每 个 输入 变量 的 隶属 函数 增加 
到 3 个 可 以 得 到 更 好 的 结果 。 在 本 例 中 ，ANFIS 模型 有 9 个 规则 ， 如 图 8. 12 所 示 。 


4 
Y R 
WO 





图 8.12 有 9 个 规则 的 ANFIS 模型 


图 8. 13 显示 ANFIS 的 性 能 明显 改善 ， 即 使 只 经 过 一 个 周期 的 训练 ， 其 输出 曲线 也 和 期 望 的 
轨迹 精确 吻合 。 图 8. 14 显示 了 训练 前 后 的 隶属 函数 。 

ANFIS 系统 具有 归纳 和 快速 收敛 的 能 力 。 这 对 在 线 学 习 是 非常 重要 的 。 因 此 ，Jang 的 模型 和 
其 变 体 的 应 用 非常 广 ， 尤 其 在 自 适 应 控制 当中 。 
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a) 1 个 周期 b) 100 个 周期 
图 8. 13 ” 赋 给 每 个 输入 3 个 隶属 本 数 的 ANFIS 的 学 习 
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a) 初始 隶属 函数 
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图 8.14  ANFIS 中 初始 时 刻 与 结束 时 刻 的 隶属 函数 


8.5 进化 神经 网 络 


虽然 神经 网 络 可 以 用 来 解决 各 种 问题 ， 但 这 种 方法 还 是 有 一 些 限 制 的 。 其 中 最 普遍 的 问题 
是 和 神经 网 络 训练 有 关 。 反 向 传播 学 习 算 法 是 经 常 使 用 的 ， 因 为 这 种 方法 灵活 并 且 容 易 用 数学 
方法 处 理 ( 假 设 神经 元 的 传递 函数 可 以 区 分 ) ， 但 这 种 方法 也 有 些 严重 的 缺点 : 它 不 能 保证 得 到 
最 优 的 解决 方案 。 在 实际 应 用 中 ， 反 向 传播 算法 可 能 收敛 到 局 部 最 优 权 重 ， 因 此 ， 神 经 网 络 通常 
不 能 为 问题 找到 最 合理 的 解决 方案 。 

另 一 个 困难 与 为 神经 网 络 选择 最 佳 拓扑 有 关 。 对 于 某 个 问题 的 “正确 ”网 络 架 构 通常 由 启 
发 式 的 方法 确定 ， 而 且 设计 神经 网 络 拓扑 更 是 一 门 艺 术 而 不 是 工程 。 

遗传 算法 是 有 效 的 优化 技术 ， 可 以 指导 权重 优化 和 拓扑 选择 。 
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首先 ， 我 们 考虑 一 下 进化 式 权 重 优化 技术 的 基本 概念 (Skabar, 2003; Abraham, 2004; 
Cas-tellano et al. , 2007) 。 要 使 用 遗传 算法 ， 首 先 要 将 问题 域 表 示 成 染色 体 。 例 如 ， 要 找到 如 
图 8. 15 所 示 的 多 层 反 馈 神 经 网 络 的 权重 的 优化 集 。 


从 神经 元 : 
到 神经 元 : 


oo 人 中 ni 一 
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o 
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~moocoecooon 
wecoocoecon 
Oocooooooco 


o 
| 
S 
o 
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ie, [s pospozposos[os [or Eoapoz[os[os[os Foi po 05] 
图 8.15 染色 体 的 权重 集 的 编码 


网 络 初始 权重 是 在 一 个 很 小 的 范围 (如 [ -1，1]) 内 随机 选择 的 。 权 重 集 可 以 用 正方 形 抵 
阵 来 表示 ， 和 矩阵 中 的 实数 表示 从 一 个 神经 元 到 另 一 个 神经 元 链接 的 权重 ，0 表示 这 两 个 神经 元 之 
间 没 有 关系 。 图 8. 15 中 的 神经 元 之 间 有 16 个 权重 链接 。 由 于 染色 体 是 基因 的 集合 ， 因 此 可 以 用 
16 位 基因 的 染色 体 表示 ， 每 个 基因 表示 网 络 中 的 一 个 权重 链接 。 因 此 ， 我 们 将 矩阵 中 的 行 串 起 
来 并 忽略 0， 就 可 以 得 到 染色 体 。 

另外 ， 每 -- 行 表示 一 组 指向 一 个 神经 元 的 所 有 输入 权重 链接 。 该 组 可 以 被 看 做 是 网 络 的 构造 块 
(Montana and Davis，1989) ， 因 此 应 该 放 在 -- 起 以 便 向 下 一 代 传递 遗传 物质 。 为 了 达到 这 个 目标 ， 
就 要 将 每 个 基因 与 给 定神 经 元 的 所 有 输入 权重 ， 而 非 单个 权重 ， 对 应 起 来 ， 如 图 8. 15 所 示 。 

第 二 步 是 定义 适应 性 函数 来 评估 染色 体 性 能 。 该 函数 必须 评估 给 定神 经 网 络 的 性 能 。 这 里 ， 我 
们 可 以 使 用 误差 平方 和 的 倒数 ， 一 个 相当 简单 的 函数 。 要 评估 给 定 染 色 体 的 适应 性 ， 染 色 体 中 包含 
的 每 个 权重 都 应 指定 给 网 络 中 相应 的 链接 。 然 后 将 例子 的 训练 集 输 入 到 网 络 中 ， 并 计算 误差 的 平方 
和 。 和 越 小 ， 染 色 体 越 适合 。 换 名 话说， 遗传 算法 应 尝试 找到 可 以 使 误差 平方 和 最 小 的 权重 集 。 

第 三 步 是 选择 遗传 操作 一 一 交叉 和 突变 。 交 叉 操作 需要 两 个 亲 代 染 色 体 ， 并 用 这 两 个 亲 代 
染色 体 的 遗传 物质 创建 一 个 子 代 染 色 体 。 子 代 染 色 体 的 每 个 基因 是 随机 从 父 代 染 色 体 中 选择 的 。 
图 8. 16 显示 了 交叉 操作 的 应 用 。 

突变 操作 随机 选择 染色 体 中 的 一 个 基因 ， 并 给 该 基因 上 的 每 个 权重 添加 一 个 -1~1 之 间 的 
随机 值 。 图 8. 16b 为 突变 的 例子 。 

现在 可 以 准备 应 用 遗传 算法 了 。 当 然 ， 还 需要 定义 种 群 大 小 ， 即 不 同 权重 的 网 络 数量 、 交 叉 
和 突变 的 概率 以 及 遗传 的 代数 。 前 面 假设 网 络 的 结构 是 固定 的 ， 进 化 学 习 仅 用 来 优化 给 定 网 络 
的 权重 。 但 是 ， 网 络 的 结构 ( 即 神经 元 的 数量 以 及 它们 之 间 的 相互 连接 ) 通常 决定 了 应 用 是 成 
功 还 是 失败 。 通 常 ， 网 络 架构 是 通过 反复 实验 和 误差 来 决定 的 。 因 此 ， 针 对 某 个 应 用 自动 设计 架 
构 有 很 大 的 需求 。 遗 传 算法 能 够 帮助 我 们 选择 网 络 的 架构 。 

寻找 合适 的 网 络 架构 的 基本 方法 是 在 可 能 的 架构 种 群 中 进行 遗传 搜索 (Melin and Castillo, 
2005; Mendivil et al. , 2008) 。 当 然 ， 我 们 必须 首先 选择 将 网 络 架构 编码 为 染色 体 的 方法 。 

有 很 多 不 同 的 方法 来 编码 网 络 架构 。 关 键 是 确定 表达 网 络 需要 多 少 信息 。 网 络 架 构 的 参数 
越 多 ， 计 算 成 本 就 越 大 。 这 里 用 一 个 简单 直接 的 编码 方法 来 进行 说 明 (Miller et al. ，1989) 。 虽 
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初始 网 络 突变 后 的 网 络 


0.1 








[o1[-o7[-o2[o9 [o«]-os|-os os [o.s] — [0.1 |-07]-02] 09 [-0.1/02 o.e] 0.5 |-os] 
b) 突变 
图 8.16 神经 网 络 中 权重 优化 的 遗传 操作 

然 直 接 编码 方法 是 一 种 受 限制 的 技术 ， 它 仅 能 用 在 神经 元 个 数 固定 的 前 馈 网 络 中 ， 但 它 能 说 明 
网 络 拓扑 结构 是 如 何 演化 的 。 

神经 网 络 的 连接 拓扑 可 以 用 正方 形 连 通 矩 阵 来 表示 ， 如 图 8. 17 所 示 。 和 矩阵 的 每 个 项 定义 了 一 个 神 
经 元 ( 列 ) 和 另 一 个 神经 元 ( 行 ) 之 间 的 连接 的 类 型 ， 其 中 0 表示 没有 连接 ，1 表示 在 学 习 中 权重 可 
变 的 连接 。 要 将 连通 矩阵 转 为 染色 体 ， 仅 需要 按 行将 矩阵 重新 连 成 串 即 可 ， 如 图 8. 17 所 示 。 











从 神经 元 : 12 3 4 5 6 
到 神经 元 : 1 0 0 0 000 
2000000 
3.110000 
4 10 0 00 0 
501 0000 
6 0 1 1 1 1 0 
染色 体 : 
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图 8.17 对 网 络 拓扑 结构 的 直接 编码 
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给 定 一 组 训练 实例 和 一 个 可 以 代表 网 络 框架 的 二 进 制 串 ， 一 个 基本 的 遗传 算法 可 以 通过 以 
下 的 步 又 来 描述 : 

步骤 1， 选择 染色 体 种 群 的 大 小 、 交 又 和 突变 的 概率 ， 并 定义 训练 周期 数 。 

步骤 2 定义 适应 性 函数 来 度量 单个 染色 体 的 性 能 或 适应 性 。 通 常 ， 网 络 的 适应 性 不 仅 取决 
于 其 精确 性 ， 还 要 取决 于 其 学 习 速 度 、 大 小 和 复杂 度 。 但 是 ， 网 络 性 能 还 是 比 其 大 小 更 重要 ， 因 
此 ， 还 是 可 以 通过 计算 误差 平方 和 的 倒数 来 定义 适应 性 函数 。 

步骤 3: 随机 产生 染色 体 的 初始 种 群 。 

步骤 4: 将 单个 染色 体 解码 成 神经 网 络 。 由 于 限定 为 前 馈 网 络 ， 因 此 应 忽略 染色 体 中 指定 的 所 
有 反馈 连接 。 用 小 的 随机 数 ， 如 [-1, 1] 区 间 的 随机 数 来 设置 网 络 的 初始 权重 。 在 指定 的 训练 周 
期 数 下 ， 用 一 组 实例 训练 集 和 反 向 传播 算法 训练 网 络 。 计 算 误差 平方 和 ， 确 定 网 络 的 适应 性 。 

步骤 5: 重复 步 又 4， 直 到 群体 中 所 有 的 染色 体 都 被 考虑 为 止 。 

步骤 6: 选择 用 于 配对 的 一 对 染色 体 ， 选 中 的 概率 与 其 适应 性 成 正比 。 

步骤 7: 用 基因 的 交叉 和 突变 操作 创建 一 对 子 代 染色 体 。 交 叉 操 作 随 机 选择 一 个 行 索引 ， 简 
单 地 交换 双亲 染色 体 中 相应 的 行 ， 并 创建 两 个 子 代 染色 体 。 突 变 操作 用 很 低 的 概率 (如 0. 005 ) 
反 转 染色 体 中 的 1 或 2 位 (bit) 。 

步骤 8: 将 子 代 染色 体 放 人 新 的 种 群 中 。 

SRI: 重复 步骤 6， 直 到 新 的 染色 体 种 群 的 大 小 和 初始 种 群 的 大 小 一 致 为 止 ， 然 后 用 新 的 
种 群 (FAR) 取代 初始 染色 体 种 群 ( 亲 代 ) 。 

步骤 10: 回 到 步骤 4， 重 复 这 个 过 程 ， 直 到 达到 指定 的 迭代 次 数 为 止 。 

神经 网 络 拓扑 的 进化 过 程 如 图 8. 18 所 示 。 


神经 网 络 j 
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0.7833 —0.1038 
0.8415 —0.1794 








图 8.18 神经 网 络 拓扑 进化 过 程 
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除了 神经 网 络 训练 和 拓扑 选择 之 外 ， 进 化 计算 还 可 以 用 于 优化 传递 函数 和 选择 合适 的 输入 
变量 。 从 具有 复杂 或 未 知 函 数 关系 的 大 量 可 能 的 输入 变量 中 找到 关键 输入 ， 是 目前 进化 神经 网 
络 的 一 个 很 有 潜力 的 研究 领域 。 神 经 网 络 系统 上 新 的 进化 计算 的 研究 主题 可 以 在 ( Affenzeller et 
al. , 2009; Melin and Castillo, 2005) 中 找到 。 


8.6 模糊 进化 系统 


进化 计算 也 可 以 用 来 设计 模糊 系统 ， 特 别 是 产生 模糊 规则 和 调整 模糊 集 的 隶属 函数 。 本 节 
主要 介绍 用 遗传 算法 来 为 分 类 问题 选择 合适 的 模糊 IF - THEN 规则 集 (Ishibuchi et al. , 1995), 

要 应 用 遗传 算法 ， 需 要 有 一 个 可 行 的 解 2) 

决 方案 的 种 群 。 在 本 例 中 ， 是 模糊 正 - amm 
THEN 规则 的 集合 。 对 于 分 类 问题 ， 模 糊 
IF - THEN 规则 集 是 从 数值 数据 中 产生 的 
(Ishibuchi et al. , 1992) 。 首 先 ， 我们 应 对 输 
入 空间 使 用 网 格 类 型 的 模糊 分 区 。 

图 8. 19 显示 了 将 二 维 输入 空间 模糊 分 
区 成 3 x3 的 模糊 子 空间 的 例子 。 黑 色 和 白 
色 的 点 分 别 表示 类 1 和 类 2 的 训练 模式 。 网 
格 类 型 的 模糊 分 区 可 以 看 做 是 规则 表 。 输 入 
变量 x1 的 语言 变量 (41、42 和 43) 形成 水 
平 轴 , 输入 变量 x2 的 语言 变量 (Bl1、B2 和 
B3) 形成 垂直 轴 。 行 和 列 的 交集 就 是 规则 
后 项 。 

在 规则 表 中 ， 每 个 模糊 子 空 间 仅 有 一 个 图 8. 19 由 3 x3 模糊 网 格 组 成 的 模糊 分 区 
模糊 IF - THEN 规则 ， 因 此 在 KxKK 个 网 格 
中 生成 的 规则 的 总 数 也 是 天 x 天 个 。 和 天 x 天 的 模糊 分 区 相对 应 的 模糊 规则 可 以 按 如 下 方法 表示 : 





Rule R,;: 

IF Mish, fa, 3, =, K 

AND in B, gol, 2, =, K 

THEN x,eC, [CES] xX,= (Xxl,, x2,), Dad, 2, — P 


其 中 , 是 每 个 轴 上 模糊 间隔 的 数量 ，x, 是 输入 空间 XI x 如 上 的 训练 模式 ，P 是 训练 模式 的 数 
f, C, 是 规则 后 项 (本 例 中 是 类 1 或 类 2) 。CF%s 是 模糊 子 空间 4.8, 属 于 类 C, 的 确信 因子 或 是 似 
然 值 。 

要 确定 规则 后 项 和 确信 因子 ， 可 以 使 用 下 面 的 过 程 : 

步骤 1: 将 输入 空间 分 割 成 KxK 的 模糊 子 空间 ， 并 计算 每 个 模糊 子 空间 中 每 类 训练 模式 的 
强度 。 

给 定 模糊 子 空间 中 的 每 个 类 用 其 训练 模式 来 表示 。 训 练 模式 越 多 ， 类 就 越 强 。 换 句 话 说 ， 在 
给 定 的 模糊 子 空间 中 ， 如 果 某 一 类 模式 出 现 的 次 数 比 别 的 类 的 模式 要 多 ， 那么 规则 后 项 就 越 确 
定 。 模 糊 子 空间 4.B, 中 类 C, 的 强度 定义 为 : 


P 
Bis = 2 My (41,) Xxug(x2,), x, = (21,,22,) (8. 23) 


Reb, pa (x1,) 和 js(*2,) 分 别 是 训练 模式 x, 在 模糊 集 4, 和 B, 中 的 素 属 度 。 
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例如 ， 在 图 8. 19 中 ， 模 糊 子 空间 4,8, 中 类 1 和 类 2 的 强度 分 别 为 : 
B = fy, (x4) X qua (%4) t a (x) X pg (x6) a Cg) Xj (Xg) + pa (Xis) X up, Us) 
=0. 75 x0. 89 +0. 92 x 0. 34 +0. 87 x0. 12 +0. 11 x0. 09 21. 09 
Bi =u, n) Xp (x, ) + py, x) X pg, (x5) + py, x) X Hp (x,) 
=0. 42 x0. 38 +0. 54 x0. 81 +0. 65 x0. 21 =0. 73 
步骤 2: 确定 每 个 模糊 子 空间 的 规则 后 项 和 确信 因子 。 由 于 规则 后 项 是 由 强度 最 高 的 类 来 确 
定 的 ， 因 此 ， 我 们 需要 找到 类 C,， 使 其 满足 : 
Bis = max [ By's,» Bua,» =, Bin i (8. 24) 
如 果 某 个 类 取得 了 最 大 值 ， 规 则 后 项 就 确定 为 C,。 例 如 ， 在 模糊 子 空间 4,8, 中 ， 规 则 后 项 就 是 
类 1。 
接 下 来 是 计算 确信 因子 : 
Bis -Bus - Bs, (8.25) 


> Bis 


CF, z 


其 中 
之 Bis, 
B. s, = NS 1 


例如 ， 在 模糊 子 空间 4,8, 中 ， 相 应 的 规则 后 项 的 确信 因子 的 计算 方法 为 : 


c2 _ 1. 09 -0.73 
Fia ~ 1.09 +0. 73 ~ 0-20 





(8. 26) 


如 何 解释 这 里 的 确信 因子 

下 面 解释 公式 (8.25) 中 的 确信 因子 。 如 果 模 糊 子 空间 4,8, 的 所 有 训练 模式 都 属于 相同 的 类 
C.， 则 确信 因子 最 大 ， 且 该 子 空 间 中 任何 新 的 模式 都 是 属于 类 C。 的 。 但 是 ， 如 果 训 练 模 式 属于 
不 同 的 类 且 这 些 类 的 强度 相同 ， 则 确信 因子 最 小 且 不 能 确定 新 模式 属于 类 C。。 

这 就 意味 着 模糊 子 空间 4,8, 中 的 模式 易 导致 误 分 类 。 如 果 模 糊 子 空间 没有 任何 训练 模式 ， 就 
根本 不 能 确定 规则 后 项 。 实 际 上 ， 如 果 模 糊 分 区 太 粗 糙 ， 则 很 多 模式 就 会 被 误 分 类 。 另 外 ， 如 果 
模糊 分 区 非常 精细 ， 则 很 多 模糊 规则 就 不 可 能 得 到 ， 因 为 缺乏 相应 模糊 子 空间 的 训练 集 。 因 此 ， 
选择 模糊 网 格 的 密度 对 于 将 输入 模式 正确 分 类 是 至 关 重 要 的 。 

同时 ， 如 图 8. 19 所 示 ， 训 练 模式 没有 必要 均匀 地 分 布 于 输入 空间 中 。 因 此 ， 很 难为 模糊 网 
格 选择 合适 的 密度 。 为 了 克服 这 个 难点 ， 可 以 使 用 多 个 模糊 规则 表 (Ishibuchi et al. , 1992), 
图 8. 20 给 出 了 一 个 例子 ， 表 的 数量 取决 于 分 类 问题 的 复杂 程度 。 





图 8. 20 多 层 模糊 规则 表 


多 个 模糊 规则 表 的 每 个 模糊 子 空间 产生 模糊 下 — THEN 规则 ， 因 此 完整 的 规则 集 可 表示 为 : 
= > S,,K = 2,3,--,L (8.27) 


292 
l 
293 


194 . 第 8 童 混合 智能 系统 


其 中 ，5; 是 模糊 规则 表 K 对 应 的 规则 集 。 
如 图 8.20 所 示 ， 多 个 模糊 规则 表 产 生 的 规则 集 5w 包 含 2 +3 +4 +57 +6 =90 条 规则 。 
一 县 产生 了 Sj 规则 集 ， 就 可 以 按 下 面 的 步 又 给 新 的 模式 x = (x1 ,x2) 分 类 : 
步骤 1: 在 多 个 模糊 规则 表 的 每 个 模糊 子 空间 中 ， 计 算 每 个 类 的 新 模式 的 兼容 程度 。 
Akia si = pia CH) xis (42) x CF, n; 
n=1,2,:--,N; Kz2,3,-,L; iz1,2,-, K; j=1,2,.…,K (8. 28) 
步骤 2: 定义 每 个 类 的 新 模式 的 最 大 兼容 程度 。 


C. [ C. C, C, C, 
oq max QO,48|» Og» Oagi» Ola» 


C. c. C, C, C. C, 
Gag) s “os Braga» Obi s “os Ojad’ os Oba s I» Ojasoo os 
C, t, C. c, C, c, 
Ug» os Cua,» Oasis “os Quasgi» "775 pags 775 Op ] 
n=l, 2, =, N (8. 29) 
步骤 3: 用 有 最 高 兼容 程度 的 新 模式 定义 类 C.。， 即 
a^ 2 max [a^, a^, =, a^ | (8. 30) 


APKC, HERA x = (11,22), 

精确 模式 分 类 所 需 的 多 个 模糊 规则 表 的 数目 会 非常 大 。 因 此 ， 完 整 的 规则 集 5%, 可 能 非常 庞 
大 ， 同 时 Si 中 的 规则 的 分 类 能 力也 不 同 ， 因 此 仅 需 要 选 出 精确 分 类 潜力 高 的 规则 ， 这 样 我 们 可 
以 大 幅 减 小 规则 集 的 大 小 。 

选择 模糊 IF - THEN 规则 的 问题 可 以 看 做 是 有 两 个 目标 的 复合 优化 问题 。 首 先 ， 最 重要 的 目 
标 是 使 正确 分 类 的 模式 的 数量 达到 最 大 ， 其 次 是 使 规则 的 数量 达到 最 小 (Ishibuchi et al. ， 
1995) 。 可 以 应 用 遗传 算法 来 解决 这 个 问题 。 

在 遗传 算法 中 ， 每 个 可 行 的 解决 方案 被 当做 一 个 个 体 ， 因 此 ， 我们 需要 将 可 行 的 模糊 TF - 
THEN 规则 集 表 示 成 固定 长 度 的 染色 体 。 染 色 体 中 的 每 个 基因 应 该 表示 Si 中 的 一 个 模糊 规则 ， 
假如 $ 心 定义 为 ， 

Su =2 «35 «4! +57 +6" 
则 染色 体 可 以 表示 成 一 个 90 位 的 字符 串 。 字 符 串 中 的 每 一 位 可 以 是 3 个 值 中 的 一 个 : -1 
或 0。 

我 们 的 目标 是 从 规则 集 5 中 选 出 合适 的 规则 组 成 模糊 规则 压缩 集 $S。 如 果 某 个 特定 的 规则 
属于 集合 S$， 那么 染色 体 上 对 应 的 位 为 1; 但 是 如 果 不 属于 集合 5S， 那么 这 个 位 就 应 该 是 -1。 唾 
规则 (dummy rule) 用 0 表示。 

什么 是 哑 规 则 

如 果 规 则 的 后 项 不 能 确定 ， 那 么 这 个 规则 就 是 旺 规则 。 当 模糊 子 空间 没有 相应 的 训练 模式 
的 时 候 ， 这 种 情况 就 是 比较 正常 的 情况 。 王 规则 不 会 影响 分 类 系统 的 性 能 ， 因 此 可 以 排除 在 规则 
Æ S 以 外 。 

如 何 确定 模糊 规则 是 否 属于 规则 集 S 

在 初始 种 群 中 ， 这 个 决定 是 按 50% 的 机 会 做 出 的 。 换 名 话说 ， 在 出 现 于 初始 种 群 的 每 个 染 
色 体 中 ， 每 个 模糊 规则 接收 值 1 的 概率 为 0. 5。 

选择 模糊 下 -THEN 规则 的 基本 遗传 算法 包含 以 下 几 个 步骤 (Ishibuchi et al. , 1995) ; 

:p9R 1: 随机 产生 染色 体 的 初始 种 群 。 种 群 大 小 可 以 相对 比较 小 ， 例 如 10 或 者 20 个 染色 
体 。 染 色 体 上 的 每 个 基因 对 应 规则 集 Sw 中 一 个 特定 的 模糊 IF - THEN 规则 。 枉 规则 对 应 的 基因 
接收 的 值 为 0， 其 他 基因 随机 被 指定 为 1 或 者 -1。 

步骤 2: 为 当前 种 群 中 的 每 个 染色 体 计 算 性 能 或 者 适应 性 。 选 择 模糊 逻辑 的 问题 有 两 个 目 


第 8 章 混合 智能 系统 195 


标 : 使 模式 分 类 的 精确 度 最 大 而 规则 数量 最 小 。 适 应 性 函数 必须 能 够 适应 这 两 个 目标 ， 可 以 在 适 
应 性 函数 中 引入 两 个 权重 w, 和 wn。 
KG) —— À (8. 31) 
其 中 ， 已 是 成 功 分 类 的 模式 的 数量 ，P 必 是 分 类 系统 处 理 的 总 的 模式 的 数量 ，Ns 和 Ni 是 分 别 出 
现在 集合 S 和 集合 $% 必 中 的 模糊 正 -THEN 规则 。 
分 类 精度 比 规 则 集 的 大 小 更 为 重要 ， 可 以 直接 反映 到 指定 的 权重 上 ， 例 如 : 
0 «wy, sw, 


ww 和 wz 的 典型 的 值 分 别 是 1 和 10， 因 此 有 下 列 式 子 ， 


P, N, 
KS) =10 g- - y (8.32) 
RRS: 选择 一 对 染色 体 配 对 。 亲 代 染 色 体 依据 它们 的 适应 性 按照 概率 来 选取 ， 适 应 性 高 的 


染色 体 有 更 高 的 概率 被 选取 。 

步骤 4: 用 标准 的 交叉 操作 来 产生 一 对 子 代 染 色 体 。 亲 代 桨 色 体 在 随机 选取 的 交叉 点 上 进行 
交换 。 

步骤 5: 在 产生 的 子 代 染色 体 上 对 每 一 个 基因 执行 突变 操作 。 突 变 概 率 一 般 保 持 得 很 低 ， 如 
0.01。 突 变 操 作 将 突变 基因 的 值 乘 以 -1。 

步骤 6; 将 产生 的 子 代 染色 体 放 和 人 到 新 的 种 群 中 。 

步骤 7: 重复 步骤 3 ， 直 到 新 的 种 群 的 大 小 和 初始 种 群 的 大 小 相同 ， 然 后 用 新 的 〈 子 代 ) 种 
群 替换 原来 的 ( 亲 代 ) 染色 体 。 

步骤 8; 回 到 步 又 2， 重 复 这 一 过 程 ， 直 到 达到 了 指定 的 代数 (通常 是 数 百 ) 为 止 。 

上 面 的 算法 可 以 显著 地 减 小 为 正确 分 类 所 需 的 模糊 IF - THEN 规则 的 数目 。 实 际 上 ， 一 些 
计算 机 模拟 (Ishibuchi et al, 1995) 证 明了 规则 数量 可 以 减 小 到 初始 生成 的 规则 数量 的 2% ， 
这 样 的 删 减 给 模糊 分 类 系统 留 下 了 少数 几 条 非常 重要 的 规则 。 这 些 规则 可 以 由 人 类 专家 来 仔 
细 验 证 。 这 使 得 我 们 可 以 使 用 模糊 进化 系统 作为 知识 获取 的 工具 ， 以 便 在 复杂 数据 库 中 发 现 
新 知识 。 


8.7 小 结 


本 章 中 ,我 们 考察 了 综合 多 种 不 同 智能 技术 的 混合 智能 系统 。 首 先 ， 我 们 介绍 了 一 种 新 型 的 
专家 系统 ， 即 神经 专家 系统 ， 它 综合 了 神经 网 络 和 基于 规则 的 专家 系统 。 然 后 ， 我 们 考察 了 一 个 
功能 上 等 同 于 Mamdani 模糊 推理 模型 的 神经 -模糊 系统 , 以 及 一 个 功能 上 等 同 于 Sugeno 模糊 推理 
模型 的 自 适应 神经 -模糊 推理 系统 (ANFIS) 。 最 后 ,我 们 介绍 了 进化 神经 网 络 和 模糊 进化 系统 。 

本 章 的 主要 内 容 有 : 

。 混合 智能 系统 是 至 少 结合 两 种 智能 技术 的 系统 。 例 如 ， 结 合 神经 网 络 和 模糊 系统 就 产生 

了 混合 神经 - 模糊 系统 。 

。 概率 推理 、 模 糊 集 理论 、 神 经 网 络 和 进化 计算 组 成 了 软 计 算 的 核心 。 软 计算 是 构建 在 不 

确定 和 不 精确 环境 中 能 进行 推理 和 学 习 的 混合 系统 的 方法 。 

。 专家 系统 和 神经 网 络 都 试图 模拟 人 类 的 智能 ， 但 使 用 了 不 同 的 方法 。 专 家 系统 依赖 IF - 

THEN 规则 和 逻辑 推理 ， 神 经 网 络 使 用 并 行 数 据 处 理 。 专 家 系统 不 能 学 习 ， 但 能 够 解释 
其 推理 ， 而 神经 网 络 能 学 习 ， 但 它 的 行为 像 是 一 个 黑 盒 。 这 些 特 点 使 它们 能 很 好 地 构建 
混合 智能 系统 ， 称 为 神经 专家 系统 或 连通 式 专家 系统 。 

。 神经 专家 系统 使 用 经 过 训练 的 神经 网 络 代替 知识 库 。 和 传统 的 基于 规则 的 专家 系统 不 同 ， 
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神经 专家 系统 可 以 处 理 噪声 数据 和 不 完整 数据 。 领 域 知识 可 以 被 用 来 构建 初始 的 神经 知 
识 库 。 经 过 训练 ， 神 经 知识 库 就 可 以 表达 成 下 -THEN 产生 式 规则 的 集合 。 

对 应 于 Mamdani 模糊 推理 模型 的 神经 -模糊 系统 ， 可 以 用 5 层 的 前 馈 神经 网 络 来 表示 ， 
这 5 层 包括 : 输入 层 、 模 糊 化 层 、 模 糊 规 则 层 、 输 出 成 员 层 和 去 模糊 化 层 。 

神经 -模糊 系统 可 以 使 用 神经 网 络 上 标准 的 学 习 算法 ， 包 括 反 向 传播 算法 。 专 家 的 知识 
表示 成 语言 变量 和 模糊 规则 ， 这 些 可 以 被 包含 进 神经 - 模糊 系统 的 结构 中 。 有 了 一 组 有 
代表 性 的 可 用 例子 之 后 ， 神 经 - 模糊 系统 可 以 自动 将 它 转化 成 模糊 IF — THEN 规则 。 

自 适应 神经 - 模糊 推理 系统 (ANFIS) 对 应 于 一 阶 Sugeno 模糊 模型 。ANFIS 可 以 表达 成 
包含 6 个 层 的 神经 网 络 ， 分 别 是 : 输入 层 、 模 糊 化 层 、 模 糊 规 则 层 、 归 一 化 层 、 去 模糊 
化 层 和 总 结 层 。 

ANFIS 使 用 了 混合 最 小 二 乘 估算 法 和 梯度 下 降 法 的 学 习 算法 。 在 向 前 传递 的 过 程 中 会 出 
现 一 组 训练 用 的 输入 模式 ， 神 经 元 的 输出 会 一 层 一 层 地 被 计算 ， 规则 后 项 参数 用 最 小 二 
乘 估算 法 表示 。 在 向 后 传送 中 ， 误 差 信号 后 向 传递 ， 规 则 前 项 参数 根据 链 式 法 则 更 新 。 
遗传 算法 可 以 有 效 地 优化 权重 和 神经 网 络 的 拓扑 结构 。 

进化 计算 可 以 被 用 在 复杂 的 分 类 问题 中 以 选择 合适 的 模糊 规则 集 。 当 使 用 多 个 模糊 规则 
表 根 据 数值 数据 产生 完整 的 模糊 TF - THEN 规则 后 ， 可 以 用 遗传 算法 选择 数量 相对 较 少 
但 分 类 能 力 高 的 模糊 规则 。 


复习 题 


1. 


什么 是 混合 智能 系统 ? 请 给 出 一 个 例子 。 什 么 构成 了 软 计算 的 核心 ?“ 硬 ”计算 和 “ 软 ” 计 
算 的 区 别 是 什么 ? 


.为 什么 神经 专家 系统 能 够 近似 推理 ? 天 出 一 个 三 分 类 问题 的 神经 网 络 知识 库 ， 假 设 一 个 对 象 


可 以 被 分 类 为 苹果 ， 或 者 橘子 ， 或 者 柠檬。 


.为 什么 模糊 系统 和 神经 网 络 被 认为 是 在 构建 混合 智能 系统 时 本 质 上 互补 的 两 种 工具 ? 画 出 一 


个 对 应 于 Sugeno 模糊 推理 模型 ， 实 现 AND 操作 的 神经 — 模糊 系统 。 假 设 系统 有 两 个 输入 和 一 
个 输出 ， 每 个 变量 用 两 个 语言 变量 值 表示 : small 和 large. 


.描述 神经 - 模糊 系统 中 每 一 层 的 功能 。 模糊 化 在 系统 中 是 怎么 做 的 ? 一 个 模糊 规则 神经 


样 将 它 的 多 个 输入 合并 ? 去 模糊 化 在 神经 -模糊 系统 中 是 怎么 做 的 ? 


. 神经 -模糊 系统 如 何 学 习 ? 系统 中 的 参数 是 怎样 学 习 或 者 是 调整 的 ? 神经 - 模糊 系统 怎样 识 


别人 类 专家 给 出 的 错误 规则 的 ? 请 举 一 个 例子 。 


.描述 ANFIS 中 每 一 层 的 功能 。 在 Jang 的 模型 中 ， 模 糊 化 神经 元 用 的 是 什么 样 的 激活 函数 ? 什 


么 是 模糊 规则 激活 强度 的 归 一 化 ? 


. ANFIS 如 何 学 习 ? 描述 它 采 用 的 混合 的 学 习 算 法 。 这 个 算法 的 优点 是 什么 ? 
.如 果 我 们 想 要 实现 一 个 零 阶 的 Sugeno 模糊 模型 ， 应 该 怎样 改变 图 8. 10 中 所 示 的 ANFIS 


结构 ? 


.对 应 于 Mamdani 模糊 推理 模型 的 神经 - 模糊 系统 和 ANFIS 的 区 别 是 什么 ? 
.神经 网 络 的 一 组 权重 应 该 怎样 编码 进 染 色 体 ? 请 举 个 例子 。 描 述 优化 神经 网 络 权重 所 用 到 的 


遗传 操作 。 


. 神经 网 络 的 拓扑 结构 如 何 编 码 进 染色 体 ? 请 举 个 例子 。 写 出 用 于 优化 神经 网 络 拓扑 结构 的 基 


本 遗传 算法 的 主要 步 又 。 


.什么 是 网 格 模糊 分 区 ? 请 举 个 例子 。 为 什么 复杂 的 模式 分 类 问题 中 需要 多 个 模糊 规则 表 ? 描 


述 一 个 用 于 选择 模糊 IF - THEN 规则 的 遗传 算法 。 
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知识 工程 


本 章 讨 论 如 何 选择 正确 的 工具 和 构建 一 个 智能 系统 。 


9.1 知识 工程 简介 

选择 正确 的 工具 对 于 构建 智能 系统 而 言 无 疑 是 最 关键 的 部 分 。 到 目前 为 止 , 读者 已 经 
熟悉 了 基于 规则 和 基于 框架 的 专家 系统 、 模 糊 系统 、 人 工 神经 系统 、 遗 传 算法 、 混 合 神经 
模糊 - 系统 以 及 模糊 进化 系统 。 利 用 这 些 工具 虽然 可 以 很 好 地 处 理 很 多 问题 ,但 针对 特定 
问题 选择 最 适合 的 工具 仍然 很 困难 。 戴 维 斯 法 则 (Davis’s law) 提 到 :“ 每 个 工具 都 有 其 最 


适合 的 任务 ” (Davis and King，1977 ) 。 但 是 ， 假 设 每 
一 个 问题 都 会 有 一 个 完美 适合 于 它 的 工具 则 未 免 太 过 
于 乐观 。 在 本 章 中 ， 我 们 将 讨论 为 给 定 的 任务 选择 合 
适 工具 的 基本 原则 ， 考 虑 构建 智能 系统 的 主要 步骤 并 
讨论 如 何 将 数据 转化 为 知识 。 

智能 系统 的 构建 过 程 从 理解 问题 域 开始 。 我 们 首先 要 
评估 问题 ， 确 定 可 用 的 数据 及 解决 问题 需要 什么 信息 。 一 
且 理 解 了 问题 ， 就 可 以 选择 合适 的 工具 并 利用 这 个 工具 开 
发 系统 了 。 构 建 基于 知识 的 智能 系统 的 过 程 为 知识 工程 
(knowledge engineering) 。 它 有 6 个 基本 步骤 ( Waterman, 
1986; Durkin, 1994); 


阶段 1， 问 题 评估 
。 确 定 问题 类 型 
。 确定 项 目 参与 人 员 
。 说 明 项 目的 目标 
。 确定 构建 系统 所 需 的 资源 


阶段 2， 数 据 和 知识 获取 
* 收集 和 分 析 数据 及 知识 
。 明 确 系 统 设计 的 关键 概念 


阶段 3， 原 型 系统 开发 


。 选择 建立 原型 系统 的 工具 
1) 问题 评估 。 。 转换 数据 和 表示 知识 
2) 数据 和 知识 获取 。 。 设计 和 实现 原型 系统 
。 用 测试 用 例 来 测试 原型 
3) 原型 系统 开发 。 | 
4) 完整 系统 开发 。 
5) 系统 评价 和 修订 。 阶段 4. 完整 系统 开发 
6) 系统 集成 和 维护 。 。 为 整个 系统 准备 详细 的 设计 


知识 工程 的 过 程 如 图 9. 1 所 示 。 知 识 工 程 ， 尽 管 名 为 
工程 ， 但 它 更 像 一 门 艺 术 ， 并 且 开 发 智能 系统 的 实际 过 程 
不 可 能 像 图 9. 1 那样 清晰 和 整洁 。 虽 然 每 个 阶段 是 按 顺序 
显示 的 ,但 实际 可 能 通常 是 重生 的 。 由 于 知识 工程 的 过 程 
本 身高 度 迭代 ， 因 此 任何 时 候 我 们 都 可 能 参与 到 任何 开发 
活动 中 。 下 面 我 们 详细 说 明知 识 工程 的 每 个 阶段 。 


9.1.1 问题 评估 


在 本 阶段 中 ， 我 们 要 确定 问题 的 特征 ， 确 定 项 目 参与 
人 员 ， 详 细 说 明 项 目的 目标 并 确定 构建 系统 所 需要 的 
资源 。 

为 了 刻画 问题 ， 我 们 需要 确定 问题 类 型 、 输 入 和 输出 


。 收 集 额外 的 数据 和 知识 
。 开 发 用 户 界面 
。 实 现 完整 的 系统 


阶段 5， 系 统 评价 和 修订 
。 根 据 性 能 标准 评价 系统 
。 根据 需要 修订 系统 





阶段 6， 系 统 集 成 和 维护 
“为 技术 转换 做 出 安排 
。 建 立 有 效 的 维护 程序 


图 9.1 知识 工程 的 过 程 
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变量 及 其 交互 以 及 解决 方案 的 形式 和 内 容 。 
第 一 步 是 确定 问题 类 型 。 智 能 系统 要 处 理 的 典型 问题 如 表 9. 1 所 示 。 它 们 包含 诊断 、 选 择 、 
预测 、 分 类 、 聚 类 、 优 化 和 控制 。 
表 9. 1 智能 系统 要 处 理 的 典型 问题 








问题 类 型 f 述 

诊断 从 对 象 的 行为 来 推理 故障 和 提出 解决 方案 
选择 从 可 能 的 选项 中 提出 最 好 的 选项 

预测 根据 目标 过 去 的 行为 预测 它 将 来 的 行为 
分 类 将 某 个 对 象 指定 到 定义 好 的 类 

RK 把 不 同类 的 对 象 分 成 局 类 的 子 集 

优化 提高 解决 方案 的 质量 直到 找到 优化 方案 
控制 控制 目标 的 行为 来 满足 实时 的 需求 


构建 智能 系统 时 ， 问 题 类 型 影响 着 我 们 对 工具 的 选择 。 例 如 ， 假 设 要 开发 一 个 检测 电路 故 
障 ， 并 在 诊断 过 程 中 引导 用 户 的 系统 。 很 明显 这 个 问题 属于 诊断 问题 。 这 类 问题 的 领域 知识 通常 
用 产生 式 规则 表示 ， 因 此 最 好 选择 基于 规则 的 专家 系统 。 

当然 ， 构 建 工 具 的 选择 还 取决 于 解决 方案 的 形式 和 内 容 。 例 如 ， 用 于 诊断 的 系统 通常 需要 解 
释 设 备 一 一 使 系统 能 够 证 明 其 解决 方案 的 手段 。 解 释 设 备 是 任何 专家 系统 所 必需 的 组 件 ， 但 在 
神经 网 络 中 就 无 法 使 用 。 另 一 方面 ， 神 经 网 络 对 于 分 类 和 聚 类 等 结果 比 理解 系统 的 推理 过 程 更 
加 重要 的 问题 来 说 ， 是 一 个 比较 好 的 选择 。 

问题 评估 的 下 一 步 是 确定 项 目 参与 人 员 。 任 何 知识 工程 都 有 两 个 关键 参与 人 员 ， 知 识 工 程 
师 (可 以 设计 、 构 建 和 测试 智能 系统 的 人 ) 和 领域 专家 【在 特定 的 范围 和 领域 中 ， 有 能 力 解决 


问题 的 知识 渊博 的 人 ) o 
然后 需要 详细 说 明 项 目的 目标 。 例 如 取得 竞争 力 优势 、 改 善 决策 质量 、 减 少 人 工 成 本 、 改 进 
产品 和 服务 的 质量 等 。 


最 后 ， 确 定 构 建 系统 所 需 的 资源 。 这 些 资源 通常 包含 计算 机 设备 、 开 发 软件 、 知 识 和 数据 源 
(人 类 和 专家、 教科书、 手册、 网址、 数据 库 和 例子 ) ， 当 然 还 有 资金 。 


9. 1.2 数据 和 知识 获取 


本 阶段 通过 收集 、 分 析 数 据 和 知识 ， 获 取 对 问题 域 的 进一步 了 解 ， 并 使 系统 设计 的 关键 概念 
更 加 明确 。 

智能 系统 的 数据 常常 通过 不 同 的 途径 收集 ， 因 此 数据 类 型 也 会 不 同 。 然 而 ， 用 以 构建 智能 系 
统 的 特定 工具 需要 特定 类 型 的 数据 。 有 些 工 具 可 以 处 理 连 续 变量 ， 而 有 些 工 具 则 需要 将 变量 分 
割 到 一 些 区 域 中 ， 或 者 被 标准 化 到 某 个 小 的 范围 中 ， 如 0 ~ 1 中 。 有 些 工 具 可 以 处 理 字 符 (X 
本 ) 数据 ， 而 另 一 些 工 具 只 能 处 理 数值 型 数据 。 有 些 工 具 可 以 容忍 不 精确 和 有 了 噪声 的 数据 ， 而 
另 一 些 工 具 则 要 求 良好 定义 、 整 洁 的 数据 。 因 此 ， 这 些 数据 必须 转换 或 重新 杭 理 为 能 被 特殊 工具 
使 用 的 数据 。 但 是 ， 无 论 我 们 选择 什么 工具 ， 在 转换 数据 之 前 ， 我 们 必须 先 解 决 3 个 重要 问题 
( Berry and Linoff, 2004) 。 

第 一 个 问题 是 数据 不 兼容 性 。 通 常 我 们 所 要 分 析 的 数据 使 用 EBCDIC 编码 存储 文本 和 压缩 十 
进 制 形式 存储 数值 ， 但 我 们 用 来 构建 智能 系统 的 工具 要 求 使 用 ASCI 编码 存储 文本 和 单 精度 或 双 
精度 浮 点 数 形 式 存储 数值 。 这 个 问题 通常 是 通过 使 用 数据 转换 工具 ， 自 动 生成 数据 转换 所 要 求 
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的 编码 来 解决 的 。 

第 二 个 问题 是 数据 不 一 致 性 。 在 通常 情况 下 ， 相 同 的 内 容 在 不 同 的 数据 库 中 可 能 表示 
为 不 同 的 形式 。 如 果 这 些 不 同 不 能 被 及 时 发 现 和 解决 ， 我 们 可 能 发 现 诸如 在 分 析 碳 酸 饮料 
的 销售 模式 时 居然 没有 包 仿 可口可乐， 仅仅 是 因为 它 存 储 于 另 一 个 独立 的 数据 库 中 之 类 的 
问题 。 

第 三 个 问题 是 数据 缺失 。 实 际 的 数据 记录 通常 包含 空白 字段 。 有 时 我 们 可 能 会 丢弃 这 些 不 
完整 的 记录 ， 但 通常 我 们 希望 从 这 些 不 完整 的 数据 中 能 够 推断 出 一 些 有 用 的 信息 。 很 多 情况 下 ， 
我 们 可 以 简单 地 用 最 普通 或 平均 数值 来 填充 空白 字段 。 在 男 一 些 情况 下 ， 那 些 没有 被 填充 的 空 
白字 段 本 身 其 实 也 能 提供 给 我 们 一 些 有 用 的 信息 。 例 如 ， 在 职位 申请 表单 中 ， 商 务 电话 号 码 栏 的 
空白 可 能 表示 这 个 申请 人 尚未 被 录用 。 

系统 构建 工具 的 选择 还 依赖 于 已 获得 的 数据 。 例 如 ， 我 们 可 以 考虑 一 个 根据 房地产 的 特征 
来 评估 其 市 场 价值 的 问题 。 这 个 问题 可 以 使 用 专家 系统 或 者 神经 网 络 技术 来 解决 。 因 此 ， 在 选择 
使 用 工具 之 前 ， 我 们 首先 应 该 调查 现 有 数据 。 如 果 可 以 获得 整个 地 区 当前 的 房屋 销售 价格 ,我 们 
就 可 以 优先 使 用 前 期 销量 数据 构建 神经 网 络 而 不 是 使 用 有 经 验 的 鉴定 者 的 知识 开发 一 个 专家 系 


统 来 解决 该 问题 。 

数据 获取 任务 和 知识 获取 任务 是 密切 相关 的 。 实 际 上 ， 我 们 在 收集 数据 的 同时 也 获取 了 一 
些 关 于 问题 域 的 知识 。 

知识 获取 过 程 有 哪些 阶段 


通常 我 们 是 从 查阅 文档 ， 阅 读 与 问题 域 相关 的 书籍 、 论 文 和 手册 开始 的 。 熟 悉 了 问题 之 后 ， 
我 们 可 以 通过 采访 领域 专家 来 收集 更 多 的 知识 。 然 后 ， 我 们 研究 和 分 析 已 获得 的 知识 ， 并 且 重 复 
整个 过 程 。 知 识 获 取 本 质 上 是 一 个 迭代 的 过 程 。 

在 很 多 的 采访 过 程 中 ， 专 家 会 被 要 求 提供 4~5 个 经 典 案 例 ， 用 以 描述 他 个 人 如 何 解 决 每 个 
案例 ， 并 日 仔细 思考 每 个 解决 方案 背后 的 推理 过 程 (Russell and Norvig，2009)。 但 是 ， 从 人 类 专 
家 抽取 信息 是 一 个 困难 的 过 程 ， 这 通常 被 称 为 “知识 获取 瓶颈 ”。 绝 大 多 数 情况 下 ， 专 家 很 少 意 
识 到 他 们 拥有 什么 样 的 知识 和 他 们 用 什么 样 的 策略 方法 解决 问题 ， 或 者 无 法 将 其 表达 出 来 。 专 
家 还 可 能 提供 一 些 不 相关 、 不 完全 和 不 一 致 的 信息 。 

理解 问题 域 是 构建 智能 系统 的 关键 。Donald Michie (1982) 给 出 了 一 个 经 典 的 例子 。 奶 酷 工 
三 有 一 位 将 要 退休 的 经 验 丰富 的 检查 员 。 工 厂 经 理 打算 用 一 台 “ 智 能 机 器 ”来 接替 该 检查 员 的 
工作 。 检 查 员 检 查 奶 酪 时 ， 会 将 手指 按 在 奶 酷 上 来 检查 是 否 “感觉 良好 ”。 因 此 ， 我 们 假设 机 器 
也 要 通过 同样 的 方法 一 一 检测 奶酪 的 表面 张力 。 这 样 一 来 ， 这 台 机 器 实际 上 是 无 用 的 。 最 后 ， 他 
们 发 现 检查 员 实际 上 是 依靠 奶 酷 的 味道 而 不 是 奶酪 的 表面 张力 来 判断 奶酪 好 坏 的 ， 他 把 手指 放 
在 奶 酷 上 的 目的 是 为 了 戳 破 表面 让 味道 际 出 来 。 

知识 工程 第 二 阶段 所 获得 的 数据 和 知识 使 我 们 可 以 在 最 抽象 的 、 概 念 化 的 层次 来 描述 解决 
问题 的 策略 ， 并 选择 一 个 工具 来 构建 原型 系统 。 但 是 ， 在 评价 原型 系统 之 前 ， 最 好 不 要 对 问题 进 
行 详细 的 分 析 。 


9.1.3 原型 系统 开发 


这 个 过 程 实际 包含 了 创造 一 个 智能 系统 ， 更 精确 地 来 说 是 指 小 型 智能 系统 ， 并 用 一 些 测试 
用 例 进行 测试 。 

什么 是 原型 系统 

原型 系统 定义 为 最 终 系统 的 缩小 版 本 。 它 用 来 测试 我 们 对 问题 的 理解 程度 ， 即 确保 完成 该 
任务 的 问题 解决 策略 、 构 建 系统 工具 选择 、 展 示 已 获得 数据 技术 和 知识 是 正确 的 、 足 够 的 。 很 多 
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情况 下 ， 它 也 提供 了 一 个 说 服 持 有 怀疑 态度 的 人 的 机 会 ， 也 提供 了 在 系统 发 展 中 积极 鼓励 雇佣 
更 多 领域 专家 的 机 会 。 

在 选择 好 工具 、 转 换 好 数据 、 获 取 适 合 该 工具 的 数据 后 ， 我 们 就 可 以 设计 并 实施 系统 的 原型 
版 本 了 。 一 旦 构建 好 系统 ， 我 们 应 通过 各 测试 用 例 进行 测试 (通常 是 和 领域 专家 一 起 ) 检查 原 
型 的 性 能 。 在 测试 系统 时 ， 领 域 专家 起 到 了 积极 作用 ， 因 此 他 们 会 更 多 地 参与 到 系统 的 开发 
之 中 。 

什么 是 测试 用 例 ， 

测试 用 例 是 指 在 过 去 已 经 成 功 解决 ， 并 且 输 入 数据 和 输出 结果 已 知 的 问题 。 在 测试 中 ， 使 用 
相同 的 输入 数据 ， 并 将 系统 输出 数据 与 原 有 测试 用 例 作 对 比 。 

如 果 我 们 选 错 了 系统 构建 工具 ， 该 怎么 办 

我 们 应 该 将 该 原型 系统 丢弃 并 从 原型 阶段 重新 开始 ， 任 何 把 选择 的 错误 工具 强加 给 其 不 适 
合 解决 的 问题 的 尝试 都 会 导致 系统 开发 延误 更 长 的 时 间 。 原 型 阶段 的 主要 目标 是 更 好 地 理解 问 
题 ， 因此， 使 用 新 工具 重新 开始 ， 并 没有 浪费 时 间 与 资金 。 


9.1.4 完整 系统 开发 


一 旦 对 原型 系统 的 功能 感到 满意 ， 我 们 就 可 以 确定 开发 一 个 完整 系统 实际 所 需要 的 内 容 。 
首先 要 为 完整 系统 开发 制订 计划 、 日 程 安排 和 资金 预算 ， 并 明确 定义 系统 性 能 的 标准 。 

这 个 阶段 的 主要 工作 通常 与 向 系统 添加 数据 和 知识 相关 。 例 如 ， 如 果 我 们 开发 了 一 个 诊断 
系统 ， 就 需要 提供 处 理 某 种 情况 的 更 多 的 规则 ; 如果 要 开发 预测 系统 ， 我 们 需要 收集 额外 的 历史 
数据 使 预测 更 加 准确 。 

接 下 来 的 任务 是 开发 用 户 界面 一 一 向 用 户 传达 信息 的 方式 。 用 户 界面 应 该 足够 简单 ， 使 用 
户 容易 地 获取 到 想 要 的 信息 。 有 些 系统 可 能 需要 解释 其 推理 过 程 、 证 明 其 建议 、 分 析 和 结论 的 正 
确 性 ， 有 些 系统 则 需要 用 图 表 来 展示 结果 。 

智能 系统 的 开发 过 程 实际 上 是 一 个 进化 的 过 程 。 在 项 目 进行 过 程 中 ， 收 集 新 的 知识 并 添加 
到 系统 后 ， 系 统 的 性 能 将 得 到 提升 ， 原 型 系统 逐渐 演化 为 最 终 系统 。 


9.1.5 系统 评价 和 修订 


与 传统 的 计算 机 程序 不 同 ， 智 能 系统 主要 用 来 解决 那些 没有 明确 定义 “正确 ”和 “错误 ” 
解决 方案 的 问题 。 评 价 智能 系统 实际 上 是 确保 系统 执行 了 让 用 户 满意 的 预订 任务 。 一 个 正式 的 
系统 评价 往往 是 完成 用 户 选择 的 测试 用 例 。 系 统 的 性 能 将 会 与 原型 系统 开发 的 最 后 阶段 所 达成 
一 致 的 性 能 标准 进行 比较 。 

评价 阶段 往往 会 发 现 系 统 的 局 限 和 缺点 ， 因 此 需要 重复 相关 的 开发 阶段 以 使 系统 得 到 
修订 。 


9.1.6 系统 集成 和 维护 


这 是 系统 开发 的 最 后 一 个 阶段 。 该 阶段 包括 将 系统 集成 到 将 要 实际 运行 的 环境 中 ， 并 建立 
一 个 有 效 的 维护 程序 。 

这 里 “集成 ”的 意思 是 将 新 的 智能 系统 与 组 织 内 部 已 有 的 系统 进行 连接 ， 并 安排 技术 转换 。 
我 们 必须 保证 用 户 知道 如 何 来 使 用 和 维护 系统 。 智 能 系统 是 基于 知识 的 系统 ， 而 知识 是 随 着 时 
闻 在 演化 的 ， 因 此 必须 保证 系统 能 够 进行 修改 。 

系统 由 谁 来 维护 

一 旦 系统 集成 到 工作 环境 中 ， 知 识 工程 师 就 会 离开 项 目 ， 系 统 便 交 由 用 户 使 用 。 因 此 ， 使 用 
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系统 的 组 织 应 该 安排 一 位 内 部 的 专家 来 负责 维护 和 修改 系统 。 

应 该 使 用 什么 工具 

到 目前 为 止 ， 我 们 应 该 明确 的 是 并 不 存在 一 个 适合 所 有 任务 的 工具 。 专 家 系统 、 神 经 网 络 、 
模糊 系统 和 遗传 算法 各 有 其 用 武之 地 ， 也 都 有 很 多 的 应 用 。 仅 仅 是 20 年 前 ， 为 了 应 用 智能 系统 
(更 准确 地 说 是 专家 系统 ) ， 人 们 必须 首先 找到 一 个 “好 ”问题 ， 即 有 可 能 成 功 的 问题 。 知 识 工 
程 项 目 昂贵 、 费 力 且 投 资 风险 高 。 开 发 一 个 中 等 规模 的 专家 系统 的 开销 往往 在 250 000 美元 到 
500 000 美元 不 等 (Simon，1987)。 经 典 的 专家 系统 像 DENDRAL 和 MYCIN 花费 20 ~40 人 年 才 
完成 。 幸 运 的 是 ， 近 几 年 来 这 种 状况 得 到 了 翻天 覆 地 的 变化 。 如 今 ， 大 多 数 的 智能 系统 都 能 在 数 
月 〈 而 不 是 数 年 ) 内 就 可 以 完成 。 我 们 可 以 使 用 商业 化 的 专家 系统 框架 、 模 糊 系统 、 神 经 网 络 
和 进化 计算 工具 包 ， 在 标准 的 PC 上 运行 应 用 。 最 重要 的 是 ， 采 用 新 的 智能 技术 将 会 变 为 以 问题 
为 驱动 ， 而 不 是 像 过 去 那样 以 好 奇 心 为 驱动 。 

在 接 下 来 的 几 节 中 ,我 们 将 讨论 解决 特定 问题 的 不 同 工 具 的 应 用 。 


9.2 专家 系统 可 以 解决 的 问题 


案例 1: 诊断 专家 系统 

我 想 要 开发 一 个 能 够 帮助 我 解决 Mac 电脑 故障 的 智能 系统 。 专 家 系统 可 以 解决 这 样 的 问 
题 吗 ? 

在 选择 专家 系统 最 初 的 候选 问题 时 ， 有 一 个 古老 而 有 用 的 测试 方法 ， 称 为 电话 规则 (Fire- 
baugh, 1988) 。 电 话 规则 的 内 容 是 “10 ~30 分 钟 之 内 跟 内 部 专家 通电 话 能 够 解决 的 任何 问题 都 可 
以 开发 成 专家 系统 。” 

诊断 和 故障 排除 问题 (计算 机 诊断 也 是 其 中 之 一 ) 始终 是 专家 系统 技术 擅长 解决 的 问题 。 
你 可 能 已 经 想起 ， 医 疗 诊断 是 专家 系统 最 早 的 应 用 领域 之 一 。 从 那 以 后 ， 诊 断 专 家 系统 又 有 了 很 
多 新 的 应 用 ,特别 是 在 工程 和 制造 业 领域 。 

诊断 专家 系统 相对 来 说 是 比较 容易 进行 开发 的 。 大 多 数 的 诊断 问题 有 一 个 有 限 的 解决 方案 
的 列表 ， 并 且 只 涉及 很 少量 的 良好 形式 化 的 知识 ， 人 类 专家 通常 只 需要 很 少 的 时 间 (例如 一 个 
小 时 ) 就 能 解决 这 样 的 问题 。 

要 开发 一 个 计算 机 诊断 系统 ， 我 们 需要 获取 计算 机 故障 排除 的 知识 。 我 们 可 以 寻找 并 咨询 
硬件 专家 ， 但 是 对 于 一 个 小 型 的 专家 系统 而 言 ， 使 用 故障 排除 手册 也 是 较 好 的 方法 。 故 障 排 除 手 
册 提 供 了 排除 各 种 故障 的 步骤 。 实 际 上 ， 手 册 中 包含 的 知识 非常 简练 ， 几 乎 可 以 直接 用 在 专家 系 
统 上 ， 因 此 我 们 可 以 不 咨询 相关 专家 ， 这 也 就 避免 了 “知识 获取 的 瓶颈 ”。 

计算 机 手册 通常 包括 故障 排除 部 分 ， 它 考虑 了 在 系统 启动 ， 计 算 机 /外 围 设备 (硬盘 、 键 
盘 、 显 示 器 、 打 印 机 ) ,磁盘 驱动 器 ( 软盘、 光盘 ) ， 文件， 网 络 和 文件 共享 中 存在 的 问题 。 本 
案例 中 ， 我 们 主要 考虑 Mac 系统 的 启动 问题 。 然 而 ,一 旦 专家 系统 原型 开发 完成 ， 就 可 以 轻松 
扩展 专家 系统 。 

图 9. 2 显示 了 Macintosh 计算 机 的 故障 排除 过 程 。 可 以 看 到 ， 此 处 故障 是 通过 一 系列 可 
视 的 检查 或 测试 来 发 现 的 。 首 先 收集 最 初 ( 系统 尚未 启动 ) 的 信息 ， 根 据 其 作出 推断 ， 然 
后 收集 其 他 的 信息 〈 电 源 良 好 、 电 线 没有 问题 ) ， 最 后 确定 导致 故障 的 原因 。 在 本 质 上 ， 这 
个 过 程 是 数据 驱动 的 推理 ， 而 推理 是 通过 前 向 链接 的 推理 技术 来 实现 。 专 家 系统 首先 应 该 
要 求 用 户 来 选择 某 个 任务 ,一 旦 任务 确定 ,系统 就 可 以 向 用 户 询问 其 他 的 信息 ， 直 至 找到 
问题 。 
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1.1. 系 统 不 启动 。 检查 电 源 线 (以 及 电源 未 端 ) 
。 检 查 电源 板 


1.2. 系 统 启动 然后 冻结 
。 解 开 所 有 的 SCSI 设 备 ， 重 启 Mac 


。 按 下 Shift 键 后 重启 ( 关 掉 外 围 设 备 ) 

。 移 除 所 有 的 外 设 ， 然 后 再 一 个 一 个 接 上 去 ,每 楼 .上 
一 个 外 设 重启 一 次 Mac。 如 果 使 用 的 是 System 7.5 
或 更 高 版 本 ， 应 使 用 外 设 管理 器 


1.3. 带 有 问题 标志 的 系统 启动 。 重启 Mac 


。 解 开 所 有 的 SCSI 设 备 ， 重 启 Mac 

。 按 下 Shift 键 后 重启 BEER) 

。 杀 死 PRAM。 如 果 起 作用 ， 分 别 开 启 虚拟 
内 存 和 告诉 缓存 (每 次 重启 计算 机 ), 尝试 
告诉 缓存 变 小 或 者 降低 虚拟 内 存 

。 重 启 磁 盘 工 具 ， 如 果 磁 盘 驱 动 器 图 标 出 现 ， 
检查 是 否 存在 两 个 系统 管理 工具 和 (或 者 ) 
两 个 定位 程序 。 如 果 磁 盘 驱 动 器 图 标 没有 
出 现 ， 则 调用 AV 修 复 

。 运 行 磁盘 急救 、MacCheck ， 或 者 诺顿 的 磁盘 


医生 工具 
。 重 新 安装 系统 


1.4. 带 有 Sad Mac 的 系统 启动 。 启 动 磁盘 工具 ， 重 新 安装 系统 
。 运 行 磁盘 急救 ， 如 果 磁 盘 驱动 器 图 标 没有 出 现 ， 
则 调用 AV 修 复 磁盘 医生 工具 


1.5. 系 统 局 动 时 带 有 错误 的 “音乐 ” «ee 


图 9. 2 Macintosh 计算 机 系统 启动 的 故障 排除 





下 面 我 们 来 开发 一 个 通用 的 规则 结构 。 在 每 一 条 规则 中 ， 要 包含 一 个 子 句 来 标识 当前 的 任 
务 。 由 于 我 们 的 原型 系统 局 限 在 Mac 系统 的 启动 问题 上 ， 所 有 规则 的 第 一 个 子 句 都 标识 为 这 个 


任务 o 例如 : 


Rule: 1 
if task is ‘system start-up’ 
then ask problem 


Rule: 2 

if task is 'system start-up' 

and problem is 'system does not start' 
then ask ‘test power cords’ 


Rule: 3 

if task is 'system start-up' 

and problem is ‘system does not start’ 
and ‘test power cords' is ok 

then ask ‘test Powerstrip’ 
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其 他 的 规则 都 跟 在 这 个 结构 的 后 面 。 图 9. 3 显示 了 在 Mac 系统 尚未 启动 (使 用 Leonardo 码 ) 


情况 下 进行 故障 排除 的 一 些 规 则 。 


f* Mac 故障 排除 专家 系统 
询问 任务 
EEIEIEE IEE E BEE e Be Be hottie 


PR 1. 系统 启动 


[EEIEIEE A e he ehe ede Hee Aeh de Hee e Ae Ae de e l Ae He A ie He B de Me Ae e e Ae ede ee e te e 


Rule: 1 
if task is ‘system start-up’ 
then ask problem 


EEEIEE ERE EA Ae e e AE Ae AE AE SE AE E E A AE Ae e AE E e e He e e Ede e eee ie ke 


产 小 节 1.1 系统 未 启动 


[EEEE AEA E A EHE R DE R E A AE AE AE E EEA EAE 


Rule:1.1 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
then ask 'test power cords' 


Rule:1.2 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
and ‘test power cords’ is ok 

then ask ‘test Powerstrip’ 


Rule:1.3 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
and ‘test power cords’ is not ok 

then troubleshooting is done 


Rule:1.4 

if task is ‘system start-up’ 

and problem is ‘system does not start 
and ‘test Powerstrip’ is ok 

then ask ‘test screen brightness’ 


Rule:1.5 

if task is ‘system start-up’ . 

and problem is ‘system does not start’ 
and ‘test Powerstrip' is not ok 

then troubleshooting is done 


Rule:1.6 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
and ‘test screen brightness’ is ok 
then ask ‘test phonet connectors’ 


Rule:1.7 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
and ‘test screen brightness’ is not ok 
then troubleshooting is done 


Rule:1.8 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
and test ‘phonet connectors’ is ok 
then ask ‘test keyboard connectors’ 


Rule:1.9 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
and ‘test phonet connectors’ is not ok 
then troubleshooting is done 


Rule:1.10 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
and ‘test keyboard connectors’ is ok 
then ask ‘test pin connectors’ 


Rule:1.11 

if — task is ‘system start-up’ 

and problem is ‘system does not start’ 
and ‘test keyboard connectors’ is not ok 
then troubleshooting is done 


Rule:1.12 

if task is ‘system start-up’ 

and problem is ‘system does not start’ 
and ‘test pins connectors’ is ok 

then troubleshooting is ‘Call AV Repair 


ai 


/* SEEK 指令 创建 目标 
查找 故障 排除 





图 9.3 Mac 故障 排除 专家 系统 原型 的 规则 


接 下 来 我 们 开始 构建 原型 系统 ， 也 即 利用 一 个 专家 系统 开发 工具 实现 最 初 的 一 些 规则 。 

如 何 选择 专家 系统 开发 工具 

通常 ， 我 们 应 该 使 工具 的 功能 和 问题 的 特征 相 匹配 。 这 些 工 具 不 仅 包括 高 级 编程 语言 ， 如 
LISP, PROLOG, OPS, C 和 Java， 也 包括 专家 系统 框架 。 高 级 编程 语言 提供 了 更 大 的 灵活 性 使 得 
其 可 以 满足 任意 项 目 需求 ， 但 是 同时 也 要 求 很 高 的 编程 能 力 。 另 一 方面 ， 框 架 虽 然 没 有 高 级 编程 
语言 的 高 灵活 性 ,但 是 它 提供 了 内 置 的 推理 引擎 、 解 释 工具 和 用 户 界面 。 使 用 框架 不 需要 任何 编 
程 能 力 ， 只 需要 将 自然 语言 (英语 ) 编写 的 规则 录入 框架 的 知识 库 ， 因 此 框架 对 于 快速 地 构建 
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原型 系统 特别 有 用 。 

如 何 选择 框架 

本 书 附录 中 提供 了 一 些 目前 市 场 上 可 用 的 商业 专家 系统 的 详细 介绍 。 这 些 介绍 将 有 助 于 你 
选择 合适 的 工具 。 然 而 ， 因 特 网 现在 正 快速 成 为 最 有 价值 的 信息 源 ， 很 多 供应 商都 有 自己 的 网 
址 ， 因 此 可 以 通过 其 网 址 来 评价 他 们 的 产品 。 

通常 在 选择 专家 系统 框架 时 ， 要 考虑 框架 表示 知识 的 形式 (规则 或 框架 ) ， 所 使 用 的 推理 机 
制 (前 向 链接 或 后 向 链接 )， 是 否 支 持 不 精确 推理 及 此 时 所 使 用 的 推理 技术 ( 贝 叶 斯 推理 、 确 信 
因子 或 模糊 逻辑 ) ， 框 架 是 否 拥 有 支持 使 用 外 部 数据 和 程序 的 开放 架构 ， 以 及 用 户 和 专家 系统 交 
互 的 方式 (图 形 用 户 界面 或 超 链接 )。 

如 今 ， 花 费 不 到 50 美元 就 可 以 购买 一 个 专家 系统 框架 并 在 PC 或 Mac 上 运行 。 你 也 可 以 获 
得 一 个 免费 的 专家 系统 (如 CLIPS)。 但 是 ,你 必须 清楚 地 了 解 授权 义务 ， 特 别 是 你 是 否 有 分 发 
授权 以 便 在 智能 系统 开发 完成 时 使 终端 用 户 能 够 使 用 系统 。 

选择 系统 开发 工具 时 ， 一 个 需要 考虑 的 重要 方面 是 提供 工具 的 公司 的 稳定 性 。 

公司 稳定 性 的 指标 是 什么 

公司 稳定 性 有 一 些 重要 的 指标 ， 例 如 公司 的 成 立 年 份 、 员 工 数 量 、 总 收入 、 智 能 系统 产 
品 的 总 收入 、 已 售 产品 的 数量 。 类 似 的 指标 也 可 以 表示 特定 产品 的 稳定 性 。 产 品 是 什么 时 候 
正式 发 布 的 ? 已 经 发 布 了 多 少 个 版 本 ? 已 经 安装 了 多 少 套 ? 这 些 在 产品 的 开发 阶段 都 是 很 重 
要 的 问题 。 

然而 ， 评 价 产品 和 供应 商 稳定 性 的 最 好 的 方法 可 能 就 是 得 到 它 的 用 户 列表 ， 成 功 的 应 用 和 
安装 站 点 。 我 们 仅仅 需要 和 使 用 产品 的 用 户 通 上 几 分 钟 的 电话 ， 就 可 以 清楚 产品 及 其 供应 商 的 
优势 和 缺点 。 

案例 2; 分 类 专家 系统 

我 想 要 开发 一 个 能 够 帮助 我 将 帆船 分 类 的 智能 系统 。 专 家 系统 可 以 解决 这 样 的 问题 吗 ? 

这 是 一 个 经 典 的 分 类 问题 〈 识 别 帆船 意味 着 将 其 归 到 定义 好 的 类 中 ) 。 前 面 已 经 讨论 过 ， 对 
于 分 类 问题 ， 专 家 系统 和 神经 网 络 都 可 以 很 好 地 处 理 。 如 果 你 决定 构建 一 个 专家 系统 ， 首 先 应 该 
收集 一 些 关 于 检 杆 结构 和 不 同类 型 帆船 的 设计 图 的 信息 。 例 如 ， 图 9. 4 显示 了 8 种 类 型 的 帆船 ， 
每 中 类 型 的 帆船 可 以 由 其 设计 图 来 唯一 标识 。 


Ay Asp 


Jib-headed Gaff-headed Staysail Gaff-headed 


Cutter Sloop Schooner Schooner 
Jib-headed Gaff-headed Jib-headed Geff-headed 
Yawl Yawl Ketch Ketch 


图 9.4 8 种 类 型 的 帆船 
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图 9.5 则 显示 了 用 于 将 帆船 分 类 的 一 系列 规则 (Leonardo 码 ) 。 系 统 在 与 用 户 对 话 阶 段 获取 
帆船 的 柳 杆 数量 、 术 杆 位 置 和 主 帆 结 构 等 信息 ， 然 后 将 帆船 确定 为 图 9.4 中 的 一 类 。 


帆船 分 类 专家 系统 ; 标记 1 
if ‘the number of masts’ is one 
and ‘the shape of the mainsail’ is triangular 
then boat is Jib-headed Cutter 
if ‘the number of masts’ is one 
and ‘the shape of the mainsail’ is quadrilateral 
boat is 'Gaff-headed Sicop’ 
‘the number of masts’ is two 
‘the main mast position’ is ‘forward of the short mast 
‘the short mast position’ is ‘forward of the helm’ 
‘the shape of the mainsail’ is triangular 
boat is ‘Jib-headed Ketch’ 
‘the number of masts’ is two 
‘the main mast position’ is ‘forward of the short mast’ 
‘the short mast position’ is ‘forward of the helm’ 
‘the shape of the mainsail’ is quadrilateral 
boat is ‘Gatf-headed Ketch’ 


‘the number of masts’ is two 
‘the main mast position’ is ‘forward of the short mast’ 


‘the short mast position’ is ‘aft the helm’ 
‘the shape of the mainsail’ is triangular 
boat is ‘Jib-headed Yaw!’ 
‘the number of masts’ is two 
and ‘the main mast position’ is ‘forward of the short mast’ 
and ‘the short mast position’ is ‘aft the helm’ 
and ‘the shape of the mainsail’ is quadrilateral 
then boat is ‘Gaff-headed Yaw 


if ‘the number of masts’ is two 

and ‘the main mast position’ is ‘aft the short mast’ 

and ‘the shape of the mainsail’ is quadrilateral 

then boat is 'Gaff-headed Schooner’ 

if ‘the number of masts’ is two 

and 'the main mast position’ is ‘aft the short mast’ 

and ‘the shape of the mainsail’ is ‘triangular with two foresails’ 
then boat is ‘Staysail Schooner’ 
attitude 
I SEEK 指令 创建 目标 
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图 9.5 帆船 分 类 专家 系统 的 规则 


毫 无 疑问 ， 在 天 空 湛蓝 和 海面 平静 的 情况 下 ， 系 统 可 以 帮助 我 们 识别 帆船 。 但 是 实际 情况 却 
往往 不 是 如 此 ， 在 大 风 或 者 大 雾 的 海面 ， 看 清楚 主 帆 和 术 杆 位 置 会 变 得 困难 甚至 不 可 能 。 尽 管 在 
解决 真实 世界 的 分 类 问题 时 会 经 常 包含 这 样 不 确定 和 不 完整 的 数据 ， 我们 还 是 可 以 使 用 专家 系 
统 的 方法 ， 前 提 是 我 们 需要 处 理 不 确定 性 。 我 们 应 用 确信 因子 理论 来 解决 我 们 的 问题 。 确 信 因 子 
理论 可 以 管理 增 量 获取 的 论据 和 不 同 信任 度 的 信息 。 
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图 9.6 显示 了 解决 帆船 分 类 问题 带 有 确信 因子 的 完整 规则 集 。 专 家 系统 需要 将 帆船 分 类 ， 也 即 


帆船 分 类 专家 系统 : 标记 2 

控制 cf 

if 'the number of masts' is one 

then boat is 'Jib-headed Cutter’ {cf 0.4}; 
boat is ‘Gaff-headed Sloop’ {cf 0.4} 


‘the number of masts’ is one 
‘the shape of the mainsail’ is triangular 
boat is 'Jib-headed Cutter’ (cf 1.0) 


'the number of masts' is one 
‘the shape of the mainsail’ is quadrilateral 
boat is 'Gaff-headed Sloop’ {cf 1.0} 


‘the number of masts’ is two 

boat is ‘Jib-headed Ketch’ {cf 0.1}; 
boat is ‘Gaff-headed Ketch’ {cf 0.1}; 
boat is ‘Jib-headed Yawl’ (cf 0.1}; 
boat is‘Gaff-headed Yawl' (cf 0.1}; 
boat is 'Gaff-headed Schooner’ {cf 0.1}; 
boat is ‘ Staysail Schooner’ {cf 0.1} 


‘the number of masts’ is two 

‘the main mast position’ is ‘forward of the short mast’ 
boat is ‘Jib-headed Ketch’ {cf 0.2}; 

boat is 'Gaff-headed Ketch’ {cf 0.2}; 

boat is ‘Jib-headed Yaw? {cf 0.2}; 

boat is ‘Gaft-headed Yawl' {cf 0.2} 


‘the number of masts’ is two 
‘the main mast position’ is ‘aft the short mast 


boat is ‘Gaff-headed Schooner’ {cf 0.4}; 
boat is 'Staysail Schooner’ {cf 0.4} 


‘the number of masts’ is two 

‘the short mast position’ is ‘forward of the helm’ 
boat is ‘Jib-headed Ketch’ {cf 0.4}; 

boat is ‘Gaff-headed Ketch’ {cf 0.4} 


‘the number of masts’ is two 

‘the short mast position’ is ‘aft the helm’ 
boat is 'Jib-headed Yaw’ {cf 0.2}; 
boat is ‘Gaff-headed Yawl' {cf 0.2}; 
boat is ‘Gaff-headed Schooner’ {cf 0.2}; 
boat is 'Staysail Schooner’ {cf 0.2} 


‘the number of masts’ is two 

‘the shape of the mainsail’ is triangular 
boat is Jib-headed Ketch’ {cf 0.4}; 
boat is Jib-headed Yaw {cf 0.4} 


‘the number of masts’ is two 

‘the shape of the mainsail’ is quadrilateral 
boat is 'Gaff-headed Ketch’ {cf 0.3}; 
boat is 'Gaff-headed Yaw!’ {cf 0.3}; 
boat is ‘Gaff-headed Schooner’ {cf 0.3} 


‘the number of masts’ is two 
and .'the shape of the mainsail’ is ‘triangular with two foresails’ 
then boat is ‘Staysail Schooner {cf 1.0} 
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图 9.6 帆船 分 类 专家 系统 中 的 不 确定 性 管理 


为 多 值 对 象 帆船 建立 确信 因子 。 要 应 用 论据 推理 技术 ， 专 家 系统 会 提示 用 户 不 仅 要 输入 对 象 的 值 ， 
而 且 要 输入 对 象 值 的 确定 性 。 例 如 ， 使 用 取 值 范围 为 0 ~1 的 Leonardo 码 ， 我 们 可 能 遇 到 下 面 的 对 
话 《〈 用 户 的 回答 用 箭头 表示 ， 注 意 确信 因子 在 不 同 规则 中 的 传送 ) : | 
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What is the number of masts? 
=> two 


To what degree do you believe that the number of masts is two? Enter a numeric 
certainty between O and 1.0 inclusive. 


=> 0.9 

Rule: 4 

if ‘the number of masts’ is two 

then boat is 'Jib-headed Ketch’ {cf 0.1}; 
boat is 'Gaff-headed Ketch’ {cf 0.1); 
boat is ‘Jib-headed Yaw!’ {cf 0.1}; 
boat is 'Gaff-headed Yaw!’ {cf 0.1}; 
boat is ‘Gaff-headed Schooner’ (cf 0.1}; 
boat is 'Staysail Schooner’ {cf 0.1} 


cf (boat is ‘Jib-headed Ketch’) = cf (‘number of masts’ is two) x 0.1 = 0.9 x 0.1 = 0.09 
cf (boat is 'Gaff-headed Ketch’) = 0.9 x 0.1 = 0.09 

cf (boat is ‘Jib-headed Yawl') = 0.9 x 0.1 = 0.09 

cf (boat is ‘Gaff-headed Yawl') = 0.9 x 0.1 = 0.09 

cf (boat is 'Gaff-headed Schooner’) = 0.9 x 0.1 = 0.09 

cf (boat is 'Staysail Schooner’) = 0.9 x 0.1 = 0.09 


boat is Jib-headed Ketch {cf 0.09} 
Gaff-headed Ketch {cf 0.09} 
Jib-headed Yawl {cf 0.09} 
Gaff-headed Yawl {cf 0.09) 
Gaff-headed Schooner (cf 0.09] 
Staysail Schooner [cf 0.09] 


What is the position of the main mast? 
= aft the short mast 


To what degree do you believe that the main mast position is aft the short mast? 
Enter a numeric certainty between 0 and 1.0 inclusive. 
= 0.7 


Rule: 6 
if ‘the number of masts’ is two 
and ‘the main mast position’ is ‘aft the short mast’ 
then boat is 'Gaff-headed Schooner’ (cf 0.4}; 
boat is ‘Staysail Schooner’ {cf 0.4} 
Cfrule:s (boat is ‘Gaff-headed Schooner’) = min [cf (‘the number of masts’ is two), 
cf (‘the main mast position’ is ‘aft the short mast')] x 0.4 
= min (0.9, 0.7] x 0.4 = 0.28 


Cfrutee (boat is ‘Staysail Schooner’) = min [0.9, 0.7] x 0.4 = 0.28 


cf (boat is ‘Gaff-headed Schooner’) = cfRue:4 + Cfnuee X (1 — Cfaule-a) 
0.09 + 0.28 x (1 — 0.09) = 0.34 


cf (boat is ‘Staysail Schooner’) = 0.09 + 0.28 x (1 — 0.09) = 0.34 











boat is Gaff-headed Schooner {cf 0.34} 
Staysail Schooner {cf 0.34) 
Jib-headed Ketch (cf 0.09} 
Gaff-headed Ketch {cf 0.09} 
Jib-headed Yaw! {cf 0.09} 
Gaff-headed Yawl {cf 0.09} 


What is the position of the short mast? 
=> forward of the helm 


To what degree do you believe that the short mast position is forward of the helm? 
Enter a numeric certainty between 0 and 1.0 inclusive. 

> 0.6 

Rule: 7 

if ‘the number of masts’ is two 

and ‘the short mast position’ is ‘forward of the helm’ 


then boat is ‘Jib-headed Ketch’ {cf 0.4}; 
boat is ‘Gaff-headed Ketch’ {cf 0.4} 


Cfrue:7 (boat is 'Jib-headed Ketch’) = min [cf (‘the number of masts’ is two), 
cf (‘the short mast position’ is ‘forward of the helm] x 0.4 
= min [0.9, 0.6] x 0.4 = 0.24 


cfhuey (boat is ‘Gaff-headed Ketch’) = min (0.9, 0.6] x 0.4 = 0.24 
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cf (boat is 'Jib-headed Ketch’) = cfrute:e + Cfauez X (1 一 CfRute:6) 
= 0.09 + 0.24 x (1 — 0.09) = 0.30 


cf (boat is ‘Gaff-headed Ketch’) = 0.09 + 0.24 x (1 — 0.09) = 0.30 


boat is Gaff-headed Schooner {cf 0.34} 
Staysail Schooner {cf 0.34} 
Jib-headed Ketch {cf 0.30} 
Gaff-headed Ketch {cf 0.30} 
Jib-headed Yawl (cf 0.09) 
Gaff-headed Yawl {cf 0.09} 


What is the shape of the mainsail? 
=> triangular 


To what degree do you believe that the shape of the mainsail is triangular? 
numeric certainty between 0 and 1.0 inclusive. 


=> 0.8 

Rule: 9 

if ‘the number of masts’ is two 

and ‘the shape of the mainsail’ is triangular 

then boat is ‘Jib-headed Ketch’ {cf 0.4}; 
boat is ‘Jib-headed Yaw!’ {cf 0.4} 


Cfaute:9 (boat is ‘Jib-headed Ketch’) = min [cf (‘the number of masts’ is two), 
cf (‘the shape of the mainsail’ is triangular] x 0.4 
= min (0.9, 0.8] x 0.4 = 0.32 


Cfrule-g (boat is 'Jib-headed Yawl') = min [0.9, 0.8] x 0.4 = 0.32 


cf (boat is ‘Jib-headed Ketch’) = Cfrute:7 + CfRuie:9 X (1 — Cfnue7) 
= 0.30 + 0.32 x (1 — 0.30) = 0,52 


cf (boat is ‘Jib-headed Yawl') = 0.09 + 0.32 x (1 — 0.09) = 0.38 


boatis Jib-headed Ketch {cf 0.52} 
Jib-headed Yawl (cf 0.38) 
Gaff-headed Schooner {cf 0.34} 
Staysail Schooner {cf 0.34} 
Gaff-headed Ketch {ef 0.30} 
Gaff-headed Yawl {cf 0.09} 


现在 可 以 得 出 结论 ， 帆 船 应 该 属于 Jib - headed Ketch 类 型 ， 几 乎 不 太 可 能 是 Gaff — headed 
Ketch 类 型 或 者 Gaff - headed Yawl 类 型 。 


9.3 ”模糊 专家 系统 可 以 解决 的 问题 


首先 要 确定 模糊 技术 适合 于 解决 什么 类 型 的 问题 。 确 定 是 否 使 用 模糊 技术 的 方法 很 简单 : 
如 果 你 不 能 为 每 种 可 能 的 情况 定义 一 个 精确 的 规则 集 ， 那 就 使 用 模糊 逻辑 。 确 信 因 子 和 贝 叶 斯 
概率 主要 关心 明确 定义 的 事件 中 的 不 明确 结果 ， 而 模糊 逻辑 主要 针对 不 明确 的 事件 本 身 。 换 句 
话说 ， 如 果 问 题 本 身 就 不 严密 ， 那 么 模糊 技术 是 最 好 的 选择 。 

模糊 系统 特别 适合 对 人 类 的 决策 进行 建 模 。 当 我 们 作出 重要 决定 时 ， 往 往 依赖 于 常识 和 使 
用 模糊 的 词语 。 例 如 ， 是 否 要 把 一 个 术 后 病人 从 康复 区 转 到 普通 病房 ， 医 生 并 没有 一 个 十 分 明确 
的 国 值 。 由 于 术 后 体温 是 一 个 非常 重要 的 指标 ， 所 以 病人 的 体温 通常 是 医生 决策 的 关键 因素 。 而 
患者 血压 的 稳定 仁 ， 患 者 的 感觉 等 因素 也 需要 考虑 。 医 生 不 是 通过 某 一 个 能 够 精确 表示 的 参数 
(体温 ) 来 做 决定 ， 而 是 要 同时 评估 几 个 参数 ， 并 且 有 些 参 数 只 能 用 模糊 的 术语 表示 (例如 患者 
想 离开 康复 区 的 意愿 ) 。 

虽然 大 多 数 情 况 下 模糊 技术 还 只 是 应 用 于 控制 和 工程 领域 ， 但 是 其 在 商务 和 金融 业 领 域 前 
EM Ha (Von Altrock, 1997) 。 这 些 领 域 的 决策 通常 是 基于 直觉 、 常 识 和 经 验 的 ， 而 不 是 数 
据 的 可 用 性 和 准确 性 。 商 务 和 金融 领域 的 决策 制定 非常 复杂 而 且 不 确定 ， 以 至 于 不 能 用 精确 的 
分 析 方 法 。 而 模糊 技术 为 我 们 提供 了 一 种 处 理 商业 和 金融 业 常用 的 “ 软 标准 ”和 “模糊 数据 ” 
的 方式 。 
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RAS: 决策 支持 模糊 系统 

我 想 要 开发 一 个 评估 抵押 申请 的 智能 系统 。 模 糊 专 家 系统 可 以 解决 这 样 的 问题 吗 ? 

抵押 申请 评估 是 决策 支持 模糊 系统 能 够 成 功 应 用 的 典型 问题 (Von Altrock, 1997) 。 

要 开发 解决 这 个 问题 的 决策 支持 模糊 系统 ， 我 们 首先 使 用 模糊 术语 表达 抵押 申请 评估 中 的 
基本 概念 ， 然 后 用 合适 的 模糊 工具 在 原型 系统 中 实现 这 个 概念 ， 最 后 用 选 定 的 测试 用 例 来 测试 
和 优化 系统 。 

抵押 申请 的 评估 通常 基于 评估 市 场 价 和 房产 的 位 置 、 申 请 人 的 资产 和 收入 ， 以 及 还 款 计 划 ， 
而 这 些 都 取决 于 申请 人 的 收入 和 银行 的 利率 。 

抵押 贷款 评估 的 隶属 函数 和 规则 从 哪里 来 

要 定义 隶属 函数 并 构建 模糊 规则 ， 我 们 需要 有 经 验 的 抵押 顾问 和 银行 经 理 的 帮助 ， 他 们 能 
够 列 出 抵押 认可 的 方针 。 图 9.7 ~ 图 9. 14 是 本 问题 中 使 用 的 语言 变量 的 模糊 集 。 三 角形 和 梯形 
的 隶属 函数 可 以 充分 地 表示 抵押 专家 的 知识 。 

1.0 


0.8 


隶属 度 





500 600 1 000 x 10? 
市 场 价 (美元 ) 


图 9.7 语言 变量 Market Value 的 模糊 集 





图 9.8 语言 变量 Location 的 模糊 集 





住宅 
图 9.9 语言 变量 House 的 模糊 集 


隶属 度 





RAE 


隶属 度 


隶属 度 





100 





200 300 400 500 600 700 800 
资产 (美元 ) 
图 9.10 语言 变量 Asset 的 模糊 集 


20 30 40 50 60 70 80 
收入 (美元 ) 


图 9.11 语言 变量 Income 的 模糊 集 


申请 人 


图 9. 12 语言 变量 Applicant 的 模糊 集 
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1000X10; 


100X103 








利息 (%) 
图 9.13 语言 变量 Interest 的 模糊 集 


100 150 200 250 300 350 
利息 (美元 ) 
图 9.14 语言 变量 Credit 的 模糊 集 
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接 下 来 我 们 需要 获取 模糊 规则 。 在 本 例 中 ， 我 们 只 是 借用 了 Von Altrock 在 其 抵押 贷款 评估 
模糊 模型 中 使 用 的 基本 规则 (Von Altrock, 1997) 。 这 些 规则 如 图 9. 15 所 示 。 



































规则 库 1: 


1. If (Market_value is Low) then (House is Low) 

2. If (Location is Bad) then (House is Low) 

3. If (Location is Bad) and (Market value is Low) then (House is Very low) 
4. If (Location is Bad) and (Market value is Medium) then (House is Low) 
5. If (Location is Bad) and (Market value is High) then (House is Medium) 
6 
7 
8 
9 


住房 评估 


If (Location is Bad) and (Market value is Very high) then (House is High) 
If (Location is Fair) and (Market value is Low) then (House is Low) 
If (Location is Fair) and (Market value is Medium) then (House is Medium) 
. If (Location is Fair) and (Market value is High) then (House is High) 
10. If (Location is Fair) and (Market value is Very high) then (House is Very. high) 
11. If (Location is Excellent) and (Market value is Low) then (House is Medium) 
12. If (Location is Excellent) and (Market value is Medium) then (House is High) 
. If (Location is Excellent) and (Market value is High) then (House is Very. high) 
. If (Location is Excellent) and (Market value is Very high) then (House is Very. high) 


规则 库 2， 申 请 评估 
If (Asset is Low) and (Income is Low) then (Applicant is Low) 

If (Asset is Low) and (Income is Medium) then (Applicant is Low) 

If (Asset is Low) and (Income is High) then (Applicant is Medium) 

If (Asset is Low) and (Income is Very. high) then (Applicant is High) 

If (Asset is Medium) and (Income is Low) then (Applicant is Low) 

If (Asset is Medium) and (Income is Medium) then (Applicant is Medium) 
If (Asset is Medium) and (Income is High) then (Applicant is High) 

If (Asset is Medium) and (Income is Very high) then (Applicant is High) 
If (Asset is High) and (Income is Low) then (Applicant is Medium) 

10. If (Asset is High) and (Income is Medium) then (Applicant is Medium) 
11. If (Asset is High) and (Income is High) then (Applicant is High) 

12. If (Asset is High) and (Income is Very. high) then (Applicant is High) 


规则 库 3: 信用 评估 
1. If (Income is Low) and (Interest is Medium) then (Credit is Very low) 
If (Income is Low) and (Interest is High) then (Credit is Very. low) 
3. If (Income is Medium) and (Interest is High) then (Credit is Low) 
4. If (Applicant is Low) then (Credit is Very low) 
5. If (House is Very low) then (Credit is Very. low) 
6 
7 
8 







OPNP WP 







If (Applicant is Medium) and (House is Very low) then (Credit is Low) 
If (Applicant is Medium) and (House is Low) then (Credit is Low) 
. |f (Applicant is Medium) and (House is Medium) then (Credit is Medium) 
9. If (Applicant is Medium) and (House is High) then (Credit is High) 
10. If (Applicant is Medium) and (House is Very. high) then (Credit is High) 
11. if (Applicant is High) and (House is Very low) then (Credit is Low) 
12. If (Applicant is High) and (House is Low) then (Credit is Medium) 
13. If (Applicant is High) and (House is Medium) then (Credit is High) 
. If (Applicant is High) and (House is High) then (Credit is High) 
. If (Applicant is High) and (House is Very high) then (Credit is Very high) 


图 9.15 抵押 贷款 评估 的 规则 


模糊 系统 中 使 用 的 所 有 变量 的 复杂 关系 可 用 层次 结构 来 表示 ， 如 图 9. 16 所 示 。 

我 们 使 用 MATLAB 的 模糊 逻辑 工具 箱 来 构建 系统 ， 它 是 市 场 上 最 常用 的 模糊 工具 之 一 。 

开发 原型 系统 的 最 后 一 个 阶段 是 评价 和 测试 。 

要 评价 和 分 析 模 糊 系统 的 性 能 ， 可 以 使 用 模糊 逻辑 工具 箱 中 提供 的 输出 表面 查看 器 。 
图 9. 17 和 图 9. 18 为 抵押 贷款 评估 系统 的 三 维 图 。 最 后 。 抵 押 专 家 使 用 一 些 测试 用 例 来 测试 系统 。 

决策 支持 模糊 系统 可 能 包含 几 十 甚至 上 百 条 规则 。 例 如 BMW 银行 和 Inform Software 开发 的 
信用 风险 评估 模糊 系统 中 使 用 了 413 条 规则 (Giillich，1996)。 大 型 的 知识 库 通 常 采 用 类 似 
图 9. 16 所 示 的 方式 来 将 其 分 割 成 几 个 模块 。 
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| ES, 信用 评 人 


BF 





0 
收入 (美元 ) 资产 (美元 ) 
a) b) 


9.17 规则 库 1 和 规则 库 2 的 三 维 图 


信用 (美元 ) 





图 9.18 规则 库 3 的 三 维 图 


尽管 通常 有 大 量 的 规则 ， 决 策 支 持 模糊 系统 可 以 相对 快速 地 开发 、 测 试 和 运行 。 例 如 ， 开 发 
和 实现 一 个 信用 风险 评估 模糊 系统 仅 需要 2 人 年 。 相 比 之 下 ,开发 MYCIN JH T 40 人 年 。 


322 
323 


214 - 第 9 章 知识 工程 


9.4 神经 网 络 可 以 解决 的 问题 

神经 网 络 是 一 种 功能 强大 、 通 用 的 工具 ， 它 已 经 成 功 地 应 用 在 预测 、 分 类 和 聚 类 问题 中 。 神 
经 网 络 的 应 用 领域 非常 广泛 ， 从 语音 和 特征 识别 到 交易 欺诈 检测 ， 从 心脏 病 的 医疗 诊断 到 过 程 
控制 和 机 器 人 技术 ， 从 外 汇 汇率 预测 到 雷达 目标 识别 ， 等 等 。 神 经 网 络 的 应 用 领域 仍 在 快速 
扩展 。 

”神经 网 络 的 普及 得 益 于 它 非凡 的 多 功能 性 、 处 理 二 值 或 者 连续 的 数据 的 能 力 ， 以 及 能 在 复 
杂 的 领域 中 得 到 很 好 的 结果 的 能 力 。 如 果 输 出 是 连续 的 ， 神 经 网 络 可 以 解决 预测 问题 ; 如 果 输 出 
为 二 值 的 ， 神 经 网 络 可 以 作为 分 类 器 使 用 。 . 

案例 4: 字符 识别 神经 网 络 

我 想 要 开发 一 个 字符 识别 系统 ， 神 经 网 络 可 以 解决 这 个 问题 吗 ? 

识别 打印 体 或 手写 体 字符 是 神经 网 络 成 功 应 用 的 经 典 领域 。 实 际 上 ， 光 学 字符 识别 (optical 
character recognition) 系统 是 神经 网 络 最 早 的 商业 应 用 之 一 。 

什么 是 光学 字符 识别 

计算 机 使 用 特殊 的 软件 能 够 将 字符 图 像 转换 成 文本 文件 。 它 使 得 我 们 将 打印 好 的 文件 ， 以 
可 编辑 的 形式 放 人 和 人 计算机， 而 不 需要 重新 录入 文件 。 

我 们 可 以 用 扫描 仪 得 到 字符 图 像 。 为 完成 这 个 任务 ， 我 们 既 可 以 用 光敏 的 传感器 扫 过 发 光 
的 文稿 表面 ， 也 可 以 让 文稿 扫 过 传感器 。 扫 描 仪 把 每 英寸 图 像 分 割 为 上 百 个 像素 大 小 的 小 格 ， 每 
个 小 格 用 0 (如果 小 格 内 有 填充 ) 或 1 (小 格 内 为 空 ) 表示 。 最 后 得 到 的 点 和 矩阵 叫做 位 图 。 位 图 
可 以 用 计算 机 存储 、 显 示 和 打印 ， 但 不 能 用 字 处 理 器 编辑 ， 因 为 点 阵 的 模式 不 能 被 计算 机 识别 ， 
而 这 正 是 神经 网 络 的 工作 。 

下 面 我 们 就 通过 识别 打印 字符 的 多 层 前 馈 网 络 的 应 用 来 进行 说 明 。 为 了 简化 这 个 问题 ,我 
们 限制 其 仅 识别 数字 0 ~9， 每 个 数字 用 图 9. 19 所 示 的 5 x9 的 位 图 来 表示 。 在 商业 应 用 中 ， 为 了 

图 9. 19 数字 识别 的 位 图 


得 到 更 好 的 分 辨 率 ， 通 常 使 用 16 x 16 的 位 图 来 表示 (Zurada, 1992), 
如 何 选 择 用 于 字符 识别 的 神经 网 络 结构 ? 


神经 网 络 的 结构 和 大 小 取决 于 问题 的 复杂 程度 。 例 如 ， 手 写字 符 的 识别 通常 通过 相对 复杂 
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1234 
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的 多 层 结构 来 执行 ， 它 包括 3 层 甚至 4 层 隐 含 层 和 数 百 个 神经 元 (Zurada, 2006; Haykin, 2008) 。 
然而 ， 对 于 打印 字 的 数字 识别 问题 ， 包 含 一 个 隐 含 层 的 三 层 网 络 就 已 经 可 以 提供 足够 的 精确 性 。 

输入 层 神 经 元 的 数目 是 由 位 图 像素 的 数目 来 决定 的 。 在 本 例 中 ,位 图 由 45 个 像素 组 成 ， 因 
此 我 们 需要 45 个 输入 神经 元 。 输 出 层 有 10 个 神经 元 一 一 每 一 个 神经 元 用 来 识别 一 个 数字 。 

如 何 确定 隐 含 层 神经 元 的 最 优 数目 ? 

仿真 实验 表明 ， 隐 含 层 神 经 元 的 数目 能 够 影响 字符 识别 的 精确 度 和 训练 网 络 的 速度 。 隐 含 
层 神 经 元 太 少 则 不 能 识别 复杂 的 模式 ， 但 是 隐 含 层 神经 元 太 多 又 会 极 大 地 增加 计算 负担 。 

另 一 个 问题 是 过 拟 合 问 题 。 隐 含 层 神经 元 数目 越 多 ， 网 络 识别 已 经 存在 的 模式 的 能 力 越 强 。 
但 是 ， 如 果 隐 含 层 神 经 元 的 数目 太 多 ， 则 网 络 很 可 能 只 记 住所 有 训练 样本 。 这 样 ， 在 输入 训练 集 
中 没有 的 样本 时 ， 网 络 就 无 法 进行 泛 化 或 得 到 正确 的 输出 。 例 如 ， 用 Helvetica 字体 训练 的 过 拟 
合 神 经 网 络 就 无 法 识别 Times New Roman 字体 的 相同 字符 。 

避免 过 拟 合 问题 的 方法 是 选择 使 网 络 产 生 良好 的 泛 化 结果 所 需要 的 最 少 的 隐 含 层 的 神经 元 
数目 。 这 样 ， 在 实验 的 时 候 ， 就 可 以 从 隐 含 层 只 有 2 个 神经 元 开始 。 在 本 例 中 ,我们 会 使 用 2、 
5. 10 和 20 个 隐 含 层 神经 元 数目 来 测试 网 络 并 比较 其 结果 。 

字符 识别 问题 的 神经 网 络 结构 ( 隐 含 层 有 5 个 神经 元 ) ， 如 图 9. 20 所 示 。 隐 合 层 和 输出 层 的 
神经 元 使 用 S 形 激活 函数 。 神 经 网 络 用 要 素 的 反 向 传播 算法 进行 训练 。 动 量 常 数 为 0.95。 输 入 
和 输出 训练 模式 如 表 9. 2 所 示 。 表 示 各 个 数字 的 二 值 输入 向 量 直 接 输入 网 络 中 。 
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图 9. 20 打印 体 数 字 识 别 的 神经 网 络 
表 9.2 数字 识别 神经 网 络 的 输入 和 预期 输出 模式 








输入 模式 像素 矩阵 中 的 行 
数字 预期 输出 模式 
1 2 3 4 5 6 7 8 9 

1 00100 01100 10100 00100 00100 00100 00100 00100 00100 1000000000 
2 01110 10001 00001 00001 00010 00100 01000 100000 111111 0100000000 
3 01110 10001 00001 00001 00010 00001 00001 10001 01110 0010000000 
4 00010 00110 00110 01010 01010 10010 11111 00010 00010 0001000000 
5 11111 10000 10000 11110 10001 00001 00001 10001 01110 0000100000 
6 01110 10001 10000 10000 11110 10001 10001 10001 01110 0000010000 
7 11111 00001 00010 00010 00100 00100 01000 01000 01000 0000001000 
8 01110 10001 10001 10001 01110 10001 10001 10001 01110 0000000100 
9 01110 10001 10001 10001 01111 00001 00001 10001 01110 0000000010 
0 01110 10001 10001 10001 10001 10001 10001 10001 01110 0000000001 
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在 我 们 的 研究 中 ， 神 经 网 络 的 性 能 用 平方 误差 和 来 衡量 。 图 9. 21 显示 了 实验 结果 ， 从 
图 9. 21a TUAH, BARBRA 2 个 神经 元 时 无 法 收敛 到 一 个 解 。 然 而 隐 含 层 神经 元 为 5S、10 和 
20 时 学 习 则 可 以 相对 较 快 。 实 际 上 ， 他 们 都 可 以 在 250 次 迭代 以 内 收敛 (一 次 迭代 是 指 遍 历 一 
次 整个 训练 样本 ) 。 注 意 ， 有 20 个 隐 含 层 神经 元 的 网 络 收敛 最 快 。 

训练 完成 以 后 ， 我 们 需要 用 一 个 测试 样本 集 来 测试 网 络 的 性 能 。 







2: 5 个 隐 含 层 神经 元 
3: 10 个 隐 含 层 神经 元 












gz r 图 A E 
da si 15 4: 20 个 隐 含 层 神 经 元 
E Fi 2 个 隐 含 层 神经 元 uk y 
E SQ 2: 5 个 隐 含 层 神经 元 & 10 
4 1 [3 10 个 隐 含 层 神经 元 E 2 4 
es 4: 20 个 隐 含 层 神经 元 5 
p* 0 
0 50 100 150 200 250 0 0.1 0.2 0.3 0.4 0.5 
选 代 次 数 噪声 水 平 
a) 学 习 曲 线 b) 性 能 评价 


图 9.21 数字 识别 三 层 神经 网 络 的 训练 和 性 能 评价 

什么 是 数字 识别 的 测试 样本 ? 它们 和 用 于 训练 神经 网 络 的 样本 相同 吗 ? 

测试 集 必 须 严格 独立 于 训练 样本 。 因 此 测试 数字 识别 网 络 时 ， 需 要 使 用 一 些 “ 噪 声 ” 样 
本 一 一 扭曲 的 输入 模式 。 例 如 ， 为 了 产生 扭曲 的 模式 ， 我 们 可 以 从 正 态 分 布 中 抽样 出 一 些小 的 随 
机 值 ， 并 将 其 加 到 表示 10 个 数字 的 位 图 的 二 值 输入 向 量 中 。 我 们 使 用 1000 个 测试 样本 (每 个 数 
字 对 应 100 个 测试 样本 ) 评测 了 打印 体 数字 识别 神经 网 络 的 性 能 。 评 测 结果 如 图 9. 21b 所 示 。 

虽然 包含 20 个 隐 含 层 神经 元 的 神经 网 络 的 平均 识别 误差 最 小 ， 实 验 结果 却 显示 10 个 隐 含 层 
神经 元 和 20 个 隐 含 层 神经 元 的 差别 并 不 十 分 显著 。 在 不 牺牲 识别 性 能 的 前 提 下 ， 两 种 网 络 的 容 
纳 噪声 的 能 力 很 相似 。 基 于 此 ， 我 们 可 以 得 出 结果 ， 在 这 里 描述 的 数字 识别 问题 中 ， 使 用 10 个 
隐 含 层 神经 元 就 足够 了 。 

可 以 提高 字符 识别 神经 网 络 的 性 能 吗 ? 

神经 网 络 的 性 能 与 训练 它 的 样本 直接 相关 。 因 此 ， 我 们 可 以 使 用 数字 0 ~ 9 的 一 些 “ 噪 声 ” 
样本 作为 训练 样本 来 提高 数字 识别 的 性 能 。 此 时 的 实验 结果 如 图 9. 22 所 示 。 和 我 们 期 望 的 一 样 ， 
利用 了 “噪声 ”样本 训练 的 数字 识别 网 络 确实 得 到 了 一 些 性 能 上 的 提高 。 
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14 一 一 一 “精确 ”样本 训练 的 网 络 
— “噪声 ”样本 训练 的 网 络 


识别 误差 (%) 





0 005 O1 015 02 025 03 035 04 045 05 
噪声 水 平 


图 9. 22 “噪声 ”样本 训练 的 数字 识别 网 络 的 性 能 评测 
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本 研究 案例 说 明了 用 反 向 传播 算法 训练 的 多 层 神经 网 络 的 一 个 最 常见 的 应 用 。 现 代 的 字符 
识别 系统 能 够 以 很 高 的 精确 度 处 理 英 文 、 法 文 、 西 班 牙 文 、 意 大 利文 、 荷 兰 文 以 及 多 种 其 他 语言 
的 不 同 字 体 。 光 学 字符 识别 通常 的 使 用 人 员 有 上 班 人 员 、 律 师 、 保 险 业 务 员 和 记者 一 一 实际 上 是 
任何 希望 打印 (甚至 是 手写 ) 文件 转载 进 计算 机 并 转换 成 可 编辑 文件 的 人 。 手 写 数字 识别 系统 
广泛 应 用 在 处 理 信封 的 邮政 编码 方面 (LeCun et al. , 1990) 。 

案例 5: 预测 神经 网 络 

我 想 要 开发 一 个 房地产 评估 的 智能 系统 ， 神 经 网 络 可 以 解决 这 个 问题 吗 ? 

房地产 评估 是 一 个 根据 类 似 住 房 的 销售 价格 等 知识 来 预测 一 个 给 定 房屋 的 市 场 价值 的 问题 。 
前 面 已 经 提 到 过 ， 这 个 问题 既 可 以 使 用 专家 系统 来 解决 ， 也 可 以 使 用 神经 网 络 来 解决 。 当 然 ， 如 
果 我 们 选择 应 用 神经 网 络 来 解决 ， 我 们 就 无 法 知道 对 一 个 特定 房屋 的 评估 是 如 何 获 得 的 ， 因 为 
神经 网 络 对 用 户 来 说 本 质 上 是 一 个 黑 盒 ， 因 而 很 难 从 中 提取 规则 。 另 一 方面 ， 一 个 正确 的 预测 往 
往 比 知道 如 何 预测 更 为 重要 。 

在 这 个 问题 中 ,输入 (房屋 位 置 、 居 住 面 积 、 卧 室 数量 、 浴 室 数量 、 土 地 尺寸 、 供 热 系 统 
类 型 等 ) 是 良好 定义 的 ， 而 且 甚 至 是 标准 化 过 的 ,不同 的 房产 代理 可 以 共享 这 些 房屋 市 场 信息 。 
输出 也 是 良好 定义 的 一 一 我 们 知道 所 要 预测 的 目标 是 什么 。 更 重要 的 是 ， 我 们 有 很 多 样本 可 以 
用 来 训练 神经 网 络 。 这 些 样 本 就 是 最 近 售 出 的 房屋 及 其 售 出 价格 的 特征 。 

训练 样本 的 选择 是 准确 预测 的 关键 。 训 练 集 应 该 覆盖 输入 的 整个 取 值 范围 。 因 此 ， 在 房地产 
评估 的 训练 集中 ， 我 们 应 该 涵盖 大 房子 和 小 房子 ， 昂 贵 的 房子 和 便宜 的 房子 ， 带 车 库 和 不 带 车 库 
的 房子 ， 等 等 。 而 且 ， 训 练 集 应 该 足够 大 。 

如 何 确 定 何 时 训练 集 的 大 小 才 是 “足够 大 ”的 ? 

神经 网 络 的 泛 化 能 力主 要 取决 于 3 个 因素 : 训练 集 的 大 小 、 网 络 的 架构 和 问题 的 复杂 度 。 一 
且 网 络 的 架构 确定 了 以 后 ， 泛 化 能 力 取决 于 是 否 有 充足 的 训练 集 。 合 适 的 训练 样本 数量 可 以 使 
用 Widrow 的 拇指 规则 来 估计 。 拇 指 规则 指出 ， 为 了 得 到 一 个 较 好 的 泛 化 能 力 ， 我 们 需要 满足 以 
下 条 件 (Widrow and Stearns, 1985; Haykin, 2008) : 

=“ (9.1) 
其 中 ,NN 为 训练 样本 数量 ，m。 是 网 络 中 突 触 权重 的 数量 ，e 是 测试 允许 的 网 络 误差 。 

因此 ， 假 如 我 们 允许 10% 的 误差 ， 我 们 需要 的 训练 样本 的 数量 大 约 是 网 络 中 权 值 数量 的 
10 fi. 

在 解决 房地产 评估 等 预测 问题 时 ,我 们 往往 需要 结合 不 同类 型 的 输入 特征 。 有 一 些 特征 
(例如 房屋 条 件 和 位 置 ,) 可 以 取 1 (最 没 吸 引力 ) 到 10 (最 具有 吸引 力 ) 之 间 的 任意 值 。 另 一 
些 特征 (例如 居住 面积 、 土 地 尺寸 和 销售 价格 ) 则 可 以 根据 实际 的 物理 特性 来 度量 一 一 平方 米 
和 美元 ， 等 等 。 还 有 一 些 特征 代表 数量 (卧室 数量 、 浴 室 数量 等 ) 和 分 类 ( 供 热 系统 类 型 ) 。 

当 所 有 输入 和 输出 取 值 都 在 0 ~1 时 ， 神 经 网 络 的 性 能 表现 得 很 好 。 因 此 ， 所 有 的 数据 在 用 
来 训练 神经 网 络 之 前 必须 进行 归 一 化 。 

如 何 归 一 化 数据 ? 

数据 可 以 分 为 3 种 主要 的 类 型 : 连续 数据 、 离 散 数据 和 分 类 数据 〈Berry and Linoff, 2004) 。 
对 于 不 同类 型 的 数据 ， 我 们 通常 采用 不 同 的 技术 来 进行 归 一 化 。 

连续 数据 取 值 介 于 预先 设 定 的 最 小 值 和 最 大 值 之 间 ， 可 以 很 容易 地 映射 ( 归 一 化 ) 到 0 和 1 
之 间 : 


实际 值 - 最 小 值 
AW = aki- Rit 09:2) 
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例如 ， 在 训练 样本 中 ， 如 果 房 屋 的 居住 面积 在 59 平方 米 和 231 平方 米 之 间 ， 我 们 可 以 将 最 小 值 
和 最 大 值 分 别 设 定 为 50 平方 米 和 250 平方 米 。 小 于 最 小 值 的 值 将 会 被 映射 到 最 小 值 ， 大 于 最 大 
值 的 值 将 会 被 映射 到 最 大 值 。 因 此 ，121 平方 米 的 居住 面积 将 会 被 规范 为 : 








“规范 值 , 52125 = 0. 355 没有 卧室 

这 种 归 一 化 的 方法 适合 于 大 多 数 应 用 。 DEE 

卧室 数量 和 浴室 数量 等 离散 数据 也 有 最 大 2 个 卧室 

值 和 最 小 值 。 例 如 ， 卧 室 数量 通常 为 0 ~4 个 。 MEE 
离散 数据 的 归 一 化 很 简单 一 一 我 们 给 每 一 个 可 pu" 


能 的 取 值 在 0 ~ 1 之 间 分 配 一 个 相等 的 区 间 ， 
如 图 9. 23 BUR. 图 9.23 离散 数据 的 归 一 化 

现在 ， 神 经 网 络 可 以 将 每 一 个 特征 〈 例 如 卧室 数量 ) 当做 一 个 单独 的 输入 来 处 理 。 例 如 ， 
如 果 卧 室 数量 为 3， 那 么 对 应 的 输入 值 为 0.75。 

对 于 拥有 具有 上 十 种 可 能 取 值 的 离散 特征 的 大 多 数 应 用 来 说 ， 这 种 方法 已 经 足够 了 。 然 而 ， 
如 果 离 散 特征 的 可 能 具有 更 多 种 取 值 ， 离 散 特征 应 该 当做 连续 特征 来 处 理 。 

性 别 和 婚姻 状态 等 分 类 数据 可 以 用 1/N 编码 (Berry and Linoff, 2004) 来 进行 归 一 化 。 这 种 
方法 意味 着 将 每 一 个 分 类 值 当做 一 个 单独 的 输入 来 处 理 。 例 如 ， 婚 姻 状 态 可 以 为 单身 、 离 异 、 已 
婚 或 丧偶 。 它 将 会 被 标示 成 4 个 输入 ,每 一 个 输入 取 值 为 0 或 1。 因 此 ,一 个 已 婚 的 人 士 将 会 被 
表示 成 一 个 输入 向 量 [0010], 

现在 ， 我 们 来 构建 一 个 用 于 房地产 评估 的 前 馈 神 经 网 络 。 图 9. 24 表示 的 是 一 个 利用 起 巴 特 
地 区 最 近 售 出 的 房屋 的 特征 作为 训练 样本 建立 的 一 个 简单 模型 。 
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图 9.24 用 于 房地产 评估 的 前 馈 神 经 网 络 


在 这 个 模型 中 ， 包 含 10 个 神经 元 的 输入 层 将 归 一 化 后 的 输入 值 传输 给 隐 含 层 。 除 了 供 热 系 
统 类 型 外 ， 其 他 的 每 一 个 特征 都 作为 一 个 单独 的 输入 来 处 理 。 供 热 系统 类 型 是 一 种 分 类 数据 ， 用 
1/N 编码 来 进行 归 一 化 。 

隐 含 层 包含 2 个 神经 元 ， 输 出 层 则 只 有 一 个 神经 元 。 隐 含 层 和 输出 层 的 神经 元 都 应 用 了 SE 
激活 函数 。 

房地产 评估 的 神经 网 络 用 来 确定 房屋 的 价值 ， 因 此 网 络 的 输出 可 以 使 用 美元 (为 度量 ) 来 
解释 。 

如 何 解 释 神 经 网 络 的 输出 ? 

在 我 们 的 例子 中 ， 神 经 网 络 的 输出 表示 为 0 ~1 之 间 的 连续 值 。 因 此 ,为 了 解释 输出 结果 ， 
我 们 可 以 简单 地 将 归 一 化 连续 数据 的 过 程 倒转 。 例 如 ,假设 在 训练 集中 ， 销 售 价格 取 值 在 52 500 
美元 和 225 000 美元 之 间 ， 输 出 值 可 以 这 样 建立 : 将 50 000 美元 映射 到 0， 将 250 000 美元 映射 到 
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1。 因 此 ， 如 果 神 经 网 络 的 输出 为 0.3546， 则 我 们 可 以 计算 这 个 值 对 应 的 实际 值 : 
实际 值 。 ;sw =0. 3546 x ( $250 000 — $50 000) + $50 000 = $120 920 

如 何 验 证 结果 ? 

为 了 验证 结果 ， 我 们 必须 使 用 神经 网 络 尚未 遇 到 的 样本 集 。 在 训练 神经 网 络 之 前 ， 所 有 的 可 
用 数据 被 随机 地 分 到 一 个 训练 集 和 一 个 测试 集中 。 训 练 阶段 完成 以 后 ， 网 络 的 泛 化 能 力 将 由 测 
试 集中 的 样本 来 测试 。 . 

神经 网 络 是 不 透明 的 ， 因 此 我 们 看 不 到 网 络 是 如 何 得 到 结果 的 。 但 是 我 们 仍然 需要 把 据 网 
络 输入 和 其 产生 的 结果 之 间 的 关系 。 尽 管 当 前 从 神经 网 络 中 提取 规则 的 研究 最 终 会 带 来 充足 的 
成 果 ， 然 而 神经 元 的 非 线性 特性 将 会 给 产生 简单 和 可 理解 的 规则 造成 障碍 。 幸 运 的 是 ， 理 解 特定 
输入 对 于 网 络 输出 的 重要 人 性， 我们 并 不 需要 规则 提取 。 我 们 可 以 使 用 一 种 称 为 灵敏 度 分 析 (sen- 
sitivity analysis) 的 简单 技术 。 

灵敏 度 分 析 可 以 确定 模型 输出 对 于 特定 输入 的 敏感 程度 。 这 种 技术 可 以 用 来 理解 不 透明 模 
型 的 内 部 关系 ， 因 此 也 适用 于 神经 网 络 。 灵 敏 度 分 析 依次 将 每 一 个 输入 设 定 为 最 小 值 和 最 大 值 ， 
然后 分 别 测 量 网 络 输出 。 有 些 输入 的 改变 对 网 络 输出 的 影响 很 小 ， 即 网 络 对 这 些 输入 不 敏感 。 另 
一 些 输 入 的 改变 对 网 络 输出 的 影响 更 大 ， 即 网 络 对 这 些 变 量 敏感 。 网 络 输出 的 变化 量 代 表 了 网 
络 对 相应 输入 的 敏感 程度 。 在 很 多 情况 下 ， 灵敏 度 分 析 的 效果 和 从 训练 过 的 神经 网 络 中 提取 规 
则 一 样 。 

案例 6: 具有 竞争 学 习 的 分 类 神经 网 络 

我 想 要 开发 一 个 智能 系统 用 来 对 一 组 苗 尾 属 植物 进行 分 类 ， 并 将 任意 一 种 苗 尾 属 植 物 植 物 
分 配 到 这 些 类 别 的 一 类 中 。 我 现在 有 一 个 包含 多 个 变量 的 数据 集 ， 因 为 现在 尚未 找 出 唯一 或 特 
别 的 特征 ， 所 以 还 不 明确 应 该 如 何 将 其 分 类 。 神 经 网 络 可 以 解决 这 个 问题 吗 ? 

神经 网 络 可 以 发 现 输入 模式 中 的 重要 特征 和 学 习 如 何 将 输入 数据 分 为 不 同 的 类 。 具 有 竞争 
学 习 的 神经 网 络 是 完成 这 项 任务 的 合适 工具 。 

竞争 学 习 规则 使 单 层 神经 网 络 可 以 将 相似 的 数据 组 合成 组 或 类 徐 。 这 个 过 程 称 为 聚 类 。 每 
一 个 群集 用 一 个 单独 的 输出 表示 。 实 际 上 ， 聚 类 可 以 定义 为 将 输入 空间 划分 为 不 同 区 域 的 过 程 ， 
每 一 个 区 域 与 一 个 特定 的 输出 相关 (Principe et al. , 2000) 。 

在 这 个 案例 中 ， 我 们 将 使 用 一 种 包含 150 个 样本 的 数据 集 ， 这 些 样本 取 自 3 HER Raw 
Al: USB, PARES (Fisher, 1950) 。 数 据 集中 的 每 一 种 植物 用 4 个 变量 来 表 
m: 划 片 长 度 、 苯 片 宽度 、 花 瓣 长 度 和 花瓣 宽度 。 苯 片 长 度 的 取 值 范围 为 4.3 - 7.9 cm, SHR 
度 的 取 值 范围 为 2.0 ~4.4cm， 花 瓣 长 度 的 取 值 范围 为 1.0 ~ 6.9cm， 花 辩 宽度 的 取 值 范围 为 0.1 ~ 
2.5cm, 

在 竞争 神经 网 络 中 ， 每 个 输入 神经 元 对 应 一 个 单独 的 输入 ， 每 个 竞争 神经 元 代表 一 个 单独 
的 聚 类 。 因 此 ， 索 尾 属 植物 分 类 问题 的 神经 网 络 中 ， 输 入 层 包含 4 个 神经 元 ， 竞 争 层 包 含 3 个 神 
经 元 。 神 经 网 络 的 架构 如 图 9. 25 所 示 。 
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图 9.25 高 尾 属 植物 分 类 的 神经 网 络 
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然而 ， 在 神经 网 络 训练 之 前 ， 必 须 先 将 数据 进行 归 一 化 ， 然 后 将 数据 划分 为 训练 集 和 测 
试 集 。 

膏 尾 属 植物 数据 是 连续 的 ， 取 值 介 于 一 些 最 小 值 和 最 大 值 之 间 。 因 此 ， 利 用 公式 (9.2) 可 
以 很 容易 地 归 一 化 到 0 ~1 之 间 。 归 一 化 的 数据 就 可 以 作为 神经 网 络 的 输入 了 。 

下 一 步 是 从 可 用 数据 中 生成 训练 集 和 测试 集 。 包 含 150 个 样本 的 过 尾 属 植物 数据 被 随机 地 划 
分 为 包含 100 个 样本 的 训练 集 和 包含 50 个 样本 的 测试 集 。 

接 下 来 就 是 训练 竞争 神经 网 络 ， 并 将 输入 向 量 分 为 3 类 。 图 9. 26 显示 了 学 习 速 率 为 0.01 时 
的 学 习 过 程 。 图 中 的 黑 点 表示 输入 模式 ，3 个 球体 指示 竞争 神经 元 的 权重 向 量 。 每 一 个 球体 的 位 
置 是 由 4 维 输入 空间 的 神经 元 的 权重 决定 的 。 

初始 时 ， 竞 争 神经 元 的 所 有 权重 指定 为 相同 的 值 0.5， 因 此 只 有 一 个 球体 出 现在 输入 空间 的 
中 心 ， 如 图 9. 26a 所 示 。 训 练 开 始 以 后 ， 权 重 向 量 对 应 于 群集 中 心 的 位 置 ， 因 此 每 个 竞争 神经 元 
现在 只 对 特定 区 域 的 输入 数据 有 响应 。 
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如 何 知道 学 习 过 程 已 经 完成 ? 

在 竞争 神经 网 络 中 ， 没 有 明显 的 方法 可 以 得 知 学 习 过 程 是 否 完成 ， 这 一 点 与 利用 反 向 传播 
算法 训练 的 多 层 感知 器 是 不 一 样 的 。 因 为 我 们 不 知道 预期 的 输出 是 什么 ， 所 以 也 就 无 法 计算 误 
差 平 方 和 一 一 反 向 传播 算法 使 用 的 标准 。 因 此 ， 我 们 应 该 使 用 的 标准 是 欧 几 里 得 距离 。 当 竞争 神 
经 元 的 权重 向 量 不 再 发 生 明 显 的 变化 时 ， 我 们 可 以 认为 网 络 已 经 收 伍 。 换 句 话 说， 如 果 输 入 空间 
中 竞争 神经 元 的 运动 在 连续 几 个 周期 中 保持 稳定 ， 我 们 就 可 以 假设 学 习 过 程 已 经 完成 。 

图 9. 27 显示 了 高 尾 属 植物 分 类 神经 网 络 的 神经 元 的 动态 学 习 过 程 。 网 络 分 别 使 用 两 个 不 同 
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的 学 习 速 率 来 训练 。 如 图 9. 27b 所 示 ， 如 果 学 习 速 率 过 快 ， 竞 争 神经 元 的 行为 变 得 不 稳定 ,网 络 
可 能 无 法 收敛 。 然 而 ， 为 了 加 快 学 习 ， 我 们 仍然 可 以 给 学 习 速率 赋予 比较 大 的 初 值 ， 但 是 随 着 训 
练 的 进行 逐渐 地 减 小 学 习 速率 。 
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如 何 将 输出 神经 元 和 某 个 类 关联 ? 例如 ， 我 们 如 何 确定 神经 元 1 AREE E? 

竞争 神经 网 络 使 得 我 们 可 以 识别 输入 数据 中 的 聚 类 。 然 而 ， 由 于 聚 类 是 一 个 无 监督 过 程 ， 我 
们 不 能 用 它 来 直接 标记 输出 神经 元 。 实 际 上 ， 聚 类 只 是 分 类 的 初步 阶段 。 

在 大 多 数 实际 应 用 中 ， 属 于 同一 聚 类 的 数据 的 分 布 很 稠密 ， 不 同 的 聚 类 之 间 有 着 自然 地 分 
界 。 因 此 ， 聚 类 中 心 的 位 置 反映 了 对 应 聚 类 与 其 他 聚 类 相互 区 分 的 特征 。 另 一 方面 ， 训 练 获 得 的 
竞争 神经 元 权重 向 量 给 我 们 提供 了 输入 空间 中 这 些 聚 类 中 心 的 坐标 。 因 此 ， 一 个 竞争 神经 元 可 
以 通过 它 的 权重 来 与 一 个 特定 的 类 关联 。 表 9.3 包含 了 竞争 神经 元 的 最 终 权 重 、 权 重 的 解码 值 以 





RMN BERD, 
表 9.3 标记 竞争 神经 元 | 
神 经 元 权 重 井 尾 属 植物 的 尺寸 (em) SERDAR 
W, 0.4355 HKE 5.9 
Wa 0.3022 "HH 2.7 
1 W 0.5658 TERK BE 4.4 FER 
Wa 0.5300 花瓣 宽度 1.4 
Wi 0.6514 WHERE 6.7 
Wa, 0.4348 HERE 3.0 
2 Ws, 0.7620 花瓣 长 度 5.5 BERERE 
Wa 0.7882 ERKE 2.0 
Wis 0.2060 WEKE 5.0 
W2 0.6056 SAR 3.5 
3 Wa, 0.0940 ERKE 1.6 uS 
Wa; 0.0799 花瓣 宽度 0.3 
如 何 将 权 值 解码 为 匣 尾 属 植物 的 尺寸 ? 


为 了 将 竞争 神经 元 的 权重 解码 为 芒 尾 属 植物 的 尺寸 ， 只 要 使 用 数据 归 一 化 的 道 过 程 。 例 如 : 
PERE W,, = 0.4355 x (7.9-4.3) + 4.3=5.9cm 

ARNÉR, SEE TERI ILS BRAS ORE bic fi HR ESTUT o 

能 和 否 不 经 过 专家 自动 地 标记 竞争 神经 元 ? 

我 们 可 以 使 用 测试 数据 集 来 自动 地 标记 竞争 神经 元 。 神 经 网 络 训练 完成 以 后 ， 一 组 代表 相 
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同类 (例如 变色 芒 尾 ) 的 输入 样本 被 输入 网 络 ， 在 竞争 中 获胜 最 多 的 神经 元 获得 对 应 的 类 标记 。 

虽然 竞争 神经 网 络 只 有 一 层 竞争 神经 元 ， 它 却 可 以 对 不 是 线性 可 分 的 输入 模式 进行 分 类 。 
在 分 类 任务 中 ,竞争 神 经 网 络 的 学 习 要 比 利 用 反 向 传播 算法 训练 的 多 层 感 知 器 要 快 很 多 , 但 是 
它 提供 的 精确 度 却 要 比 后 者 低 。 

案例 7: 自 组 织 神经 网 络 聚 类 

我 想 要 开发 一 个 智能 系统 来 识别 可 能 倒闭 的 银行 。 神 经 网 络 可 以 解决 这 个 问题 吗 ? 

2008 年 ， 一 系列 银行 的 倒闭 引发 了 金融 危机 。 按 照 任何 历史 标准 ， 这 场 危 机 是 20 世纪 30 年 
代 大 萧条 以 来 最 严重 的 。 危 机 的 直接 原因 是 美国 房地产 泡沫 的 破灭 。 反 过 来 ， 这 引起 证 券 价值 和 
房地产 定价 陷入 低谷 ， 损 害 了 世界 各 地 的 金融 机 构 。 银 行 破产 和 信用 缺乏 降低 了 投资 者 的 信心 ， 
因此 ， 股 市 暴跌 。2009 年 ， 全 球 经 济 收缩 1. 1% ， 而 在 发 达 国 家 ， 收 缩 达 3. 4% 。 中 央 银 行 和 政 
府 进行 规模 空前 的 干预 后 ， 全 球 经 济 开始 复苏 。 然 而 ， 全 球 金融 体系 仍 处 于 危险 之 中 。 

如 果 我 们 能 够 识别 出 在 银行 面临 偿 债 能 力 和 资金 流 危机 之 前 出 现 的 潜在 问题 ， 各 大 银行 连 
锁 倒闭 的 风险 将 会 显著 降低 。 导 致 银行 倒闭 的 原因 有 很 多 ,包括 高 风险 、 利 率 波动 、 管 理 不 善 、 
不 合适 的 会 计 标准 和 非 存款 机 构 的 竞争 加 剧 等 。 自 从 危机 以 来 ， 银 行 监管 机 构 已 越 来 越 关注 降 
低 存 款 保险 负债 规模 。 甚 至 有 人 建议 ， 最 好 的 监管 政策 是 在 银行 资本 不 足 之 前 关闭 银行 。 因 此 ， 
尽早 识别 潜在 的 濒临 破产 的 银行 ， 对 于 如 免 另 一 场 巨大 的 金融 危机 是 至 关 重 要 的 。 在 过 去 30 年 
中 ,很 多 工具 被 开发 出 来 以 识别 有 问题 的 银行 。 早 期 的 模型 大 多 依赖 于 统计 技术 (Abrams and 
Huang, 1987; Booth et al. , 1989; Espahbodi, 1991) ， 而 大 多 数 现代 技术 则 基于 模糊 逻辑 和 神经 网 
络 (Zhang et al. , 1999; Alam et al. , 2000; Ozkan - Gunay and Ozkan, 2007) 。 大 多 数 的 这 些 模型 
使 用 二 元 分 类 一 一 破产 银行 和 非 破产 银行 。 然 而 ， 在 现实 世界 中 ， 银 行 是 按照 破产 可 能 性 排序 
的 。 监 管 机 构 需 要 的 是 一 个 早期 预警 系统 ， 能 够 “标记 ”潜在 的 破产 银行 。 一 旦 这 样 的 银行 被 
识别 ， 就 可 以 针对 每 一 个 银行 的 特定 需求 制定 不 同 的 预案 ， 从 而 避免 了 重大 的 银行 失败 。 

在 这 个 案例 研究 中 ， 我 们 使 用 育 类 分 析 来 “标记 ”潜在 的 破产 银行 。 

什么 是 聚 类 分 析 ? 

聚 类 分 析 是 一 种 探索 性 数据 分 析 技 术 ， 它 将 不 同 的 对 象 划分 为 组 〈 称 为 聚 类 ) ， 从 而 使 同一 
聚 类 内 的 两 个 对 象 之 间 的 相关 度 最 大 化 ， 不 同 聚 类 的 两 个 对 象 之 间 的 相关 度 最 小 化 。 

“ 育 类 分 析 ” 一 词 最 早 是 由 Robert Tryon (1939) 于 70 多 年 前 提出 。 自 那 以 后 ， 聚 类 分 析 被 
成 功 应 用 于 医学 、 考 古 和 天 文 等 许多 领域 。 在 聚 类 中 ， 没 有 预先 定义 的 类 一 一 对 象 仅仅 是 基于 它 
们 之 间 的 相似 度 而 组 织 到 一 起 。 因 此 ， 至 类 也 常常 被 称 为 无 监督 分 类 。 独 立 变 量 和 非 独立 变量 之 
间 没 有 区 别 ， 当 发 现 聚 类 时 需要 用 户 来 解释 它们 的 含义 。 

使 用 什么 方法 来 做 聚 类 分 析 ? 

我 们 可 以 找 出 3 种 主要 的 聚 类 分 析 的 方法 。 它 们 分 别 基 于 统计 学 、 模 糊 逻 辑 和 神经 网 络 。 在 
这 个 案例 研究 中 ， 我 们 将 使 用 一 个 自 组 织 的 神经 网 络 。 

我 们 的 目标 是 用 银行 的 经 济 数据 来 将 银行 聚 类 。 这 些 数 据 可 以 从 联邦 存款 保险 公司 (FDIC) 
的 人 工 报表 中 获得 。FDIC 是 由 美国 国会 创建 的 独立 机 构 。 它 负责 担保 存款 、 检 查 和 监督 金融 机 
构 以 及 管理 接管 。 为 了 评估 一 个 银行 的 整体 经 济 状态 ， 监 管 机 构 会 使 用 CAMELS (资本 充足 率 、 
资产 、 管 理 、 青 利 、 流 动 性 和 市 场 风 险 敏感 性 ) 评级 系统 。CAMELS 评级 已 经 应 用 到 美国 的 
8500 家 银行 。 该 系统 还 被 美国 政府 在 2008 年 的 资本 化 方案 中 用 来 选择 银行 。 

在 本 案例 中 ， 我 们 选择 了 100 家 银行 并 从 上 一 年 的 FDIC 人 工 报表 中 获取 了 这 些 银 行 的 经 济 
数据 。 基 于 CAMELS ， 我 们 采用 以 下 5 个 评级 : 

1) NITA 一 一 收入 总 额 除 以 资产 净 额 。NITA 代表 资产 收益 率 。 濒 临 破 产 的 银行 NITA 非常 
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低 ， 甚 至 出 现 负 值 。 

2) NLLAA 一 一 净 贷 款 损失 除 以 调整 后 资产 。 调 整 后 资产 的 计算 方法 是 总 资产 减 去 总 贷款 。 
濒临 破产 的 银行 ， 通 常 比 健康 的 银行 有 更 高 的 NLLAA fË. 

3) NPLTA 一 一 不 良 贷款 总 额 除 以 总 资产 。 不 良 贷款 包括 已 超过 期 限 90 天 的 贷款 和 非 应 计 贷 
款 。 濒 临 破 产 的 银行 ， 通常 比 健康 的 银行 有 更 高 的 NPLTA 值 。 

4) NLLTL 一 一 净 贷 款 损失 除 以 贷款 总 额 。 濒 临 破产 的 银行 有 更 高 的 贷款 损失 ， 因 为 他 们 往 
往 向 高 风险 的 借款 人 发 放贷 款 。 因 此 濒临 破产 的 银行 ， 通 常 比 健康 的 银行 有 更 高 的 NLLIL 值 。 

5) NLLPLLNI 一 一 净 贷款 损失 和 贷款 损失 准 
备 金 之 和 除 以 收益 总 额 。NLLPLLNI 值 越 高 ， 银 
行 的 业绩 越 差 。 

初步 调查 的 统计 数据 显示 ， 多 家 银行 可 能 会 
遇 到 一 些 财政 困难 。 聚 类 应 该 能 够 帮助 我 们 找 出 
有 类 似 问题 的 银行 集群 。 

图 9. 28 显示 了 一 个 自 组 织 神经 网 络 (SOM), 
这 个 神经 网 络 的 Kohonen 层 是 一 个 25 个 神经 元 的 
5 x5 的 神经 元 阵列 。 注 意 ，Kohonen 层 的 神经 元 











组 织 为 六 边 形 的 模式 。 
输入 数据 被 归 一 化 到 0 ~ 1 之 间 。 网 络 以 0.1 
的 学 习 速 率 训 练 了 10 000 次 迭代 。 训 练 完 成 以 图 9.28 SOM 的 结构 


后 ，SOM 形成 了 一 个 语义 映射 ， 相 似 的 输入 向 量 

映射 后 距离 很 近 ， 不 相似 的 输入 向 量 映 射 后 距离 很 远 。 换 句 话 说 ， 相 似 的 输入 向 量 趋 向 于 映射 到 
Kohonen 层 中 相同 或 者 相 邻 的 神经 元 。 这 个 SOM 特性 可 以 使 用 一 个 权重 距离 矩阵 (又 称 为 U 一 甜 
阵 ) 来 可 视 化 。 图 9. 29 显示 了 银行 经 济 数据 的 U -和 矩阵 和 SOM 样本 覆盖 图 。 在 U - BERT, A 
边 形 代表 Kohonen 层 中 的 神经 元 。 相 邻 神 经 元 之 间 区 域 的 颜色 表示 它们 之 间 的 距离 一 一 颜色 越 
深 ， 距 离 越 大 。SOM 样本 覆盖 图 揭示 了 Kohonen 层 中 的 每 一 个 神经 元 所 吸引 的 输入 向 量 数目 。 





b) paka 


图 9.29 5x5 的 SOM 

通常 ，SOM 识别 出 的 聚 类 数目 比 Kohonen 层 的 神经 元 数目 要 少 ， 因 此 被 相 邻 神 经 元 吸引 的 多 

个 输入 向 量 实际 上 可 能 属于 同一 个 聚 类 。 例 如 在 图 9. 29a 中 ， 我 们 可 以 看 到 神经 元 3 和 8、7 和 
8、7 和 12、7 和 13、8 和 9、8 和 13、8 M14, 9 $2014, 11 A12, 12 和 13、12 和 16、12 和 17、 
13 和 14、13 和 17、13 和 18、14 和 19、16 和 17、17 $118, 17 4122, 17 和 23、18 $119, 18 和 
23, 21 和 22、22 和 23 之 间 的 距离 相对 较 小 (神经 元 之 间 区 域 的 颜色 很 浅 ， 因 此 距离 较 小 )。 因 
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此 ， 我 们 有 理由 假设 神经 元 3.7、8、9、11、12、13、14、16、17 、18 19, 21,22 和 23 形成 了 一 个 
单独 的 聚 类 。 同 时 ， 我们 也 应 该 注意 到 神经 元 3 和 7 之 间 的 距离 要 比 神经 元 3 和 8 及 神经 元 7 和 
8 之 间 的 距离 要 大 很 多 。 因 此 ， 这 对 于 找 出 与 神经 元 3 相关 的 输入 向 量 和 与 神经 元 7 相关 的 输入 
向 量 之 间 的 区 别 是 很 有 用 的 。 表 9.4 显示 了 聚 类 的 结果 。 
表 9.4 5x5B SOM 的 聚 类 结果 

聚 类 的 财务 数据 表 


mex] sue 入 | — NA NPLTA NUT. NIPIN 
标准 差 | 均值 [eeta eo ee a e ea 


0.0043 | -0 1793 esl 0.2516 | 0. 0125 | 0. 0100 | 0. 0055 | 0. 0050 | 0. 0057 | 0. 0036 | 0. 2839 | 0. 2839 | 0. 0164 
0 (00535,0023, 0 100006|10 0006 




















0 -0.4954 -0 
0.0097 | -0.0899| -0. 0701] 0. 1646 | 0.0153 | 0.0144 | 0. 0102 | 0. 0143 | 0. 0121 


0, 0064 | 0.4448 | 0.4528 | 0,0672 10.0190 0, 0185 | 0, 0058 | 0. 0133 | 0. 0145 
0.0044 | 0.0363 | 0.0857 | 0.0257 |0. 0205 | 0. 0166 | 0. 0144 | 0, 0388 | 0. 0376 
0 0.0089 | 0.0089; 0 |0 %215/0,0215| 0 10.0055 |0. 0055 
0 0019 | 0.0199} 0 |0.0198)0.0198; 0 |0. 0662|0. 0662 
0.0019 | 0.0225 | 0.0225 | 0.0048 10,0164 | 0. 0164 | 0. 0029 | 0. 0740 | 0. 0740 | 0. 0052 |10. 9785,10. 9785) 1. 2720 





























mo = m uc 


聚 类 到 底 表 示 什 么 含义 ? 

解释 每 一 个 聚 类 的 含义 通常 是 一 个 困难 的 任务 。 分 类 问题 中 的 类 数目 是 预先 确定 的 ， 而 在 
在 基于 SOM 的 聚 类 中 ， 聚 类 的 数目 是 未 知 的， 而 且 给 每 一 个 聚 类 赋予 一 个 类 标签 或 解释 往往 需 
要 一 些 先 验 知识 和 领域 知识 。 

最 开始 ， 我 们 需要 一 个 对 比 不 同 聚 类 的 方法 。 在 案例 6 中 我 们 已 经 谈 到 ， 一 个 聚 类 的 中 心 揭 
示 了 该 聚 类 与 其 他 聚 类 不 同 的 特征 。 因 此 ， 确 定 一 个 聚 类 的 平均 成 员 ， 应 该 能 够 使 我 们 揭示 整个 
NORMA. 49.4 包含 了 本 案例 中 用 到 的 CAMELS 评级 的 平均 值 ， 中 位 值 和 标准 差 (SD)。 利 
用 这 些 值 ， 领 域 专家 可 以 识别 出 具有 相同 行为 模式 或 者 面临 类 似 问题 的 银行 。 

下 面 我 们 通过 识别 出 具有 负 资 产 回报 的 问题 银行 来 开始 我 们 的 分 析 。 从 表 9.4 中 我 们 可 以 发 
JE E. FAC 三 个 聚 类 的 NITA 值 为 负 。 例如 ， 谷类 下 中 的 银行 的 平均 净 亏 损 是 其 总 资产 的 696 。 
另 一 方面 ， 健 康 的 银行 往往 拥有 正 向 的 总 资产 。 因 此 ， 聚 类 A 中 的 银行 NITA 值 很 高 ， 可 以 被 认 
为 是 健康 的 银行 。 

按照 NLLAA WR, RED 拥有 最 高 的 平均 值 ， 其 次 是 聚 类 玉 。 注 意 ,， 虽然 率 类 下 中 的 银行 
是 问题 银行 ,但 是 他 们 的 NLLAA 值 比 聚 类 D 至 少 要 低 12 倍 (平均 3.63% 对 比 44.48%)。 这 可 
以 看 做 是 一 个 明确 的 指示 ， 那 就 是 聚 类 D 中 的 银行 面临 严重 的 贷款 问题 (虽然 他 们 的 资产 当前 
AIE). RX A, BA C 的 NLLAA 值 为 负 值 ， 对 于 健康 的 银行 来 说 这 是 很 常见 的 。 

RŽ B 的 NPLTA 值 比较 高 ， 其 次 是 聚 类 卫 、 了 上 和 G 中 的 问题 银行 。 这 可 能 指示 聚 类 B 中 的 
银行 正面 临 着 贷款 回收 的 问题 。 实 际 上 ， 处 于 这 种 状况 的 银行 比 聚 类 下 、 了 和 G 中 的 银行 更 加 
糟糕 。 

最 后 ， 聚 类 H 中 的 两 个 银行 的 NLLTL 值 和 NLLPLLNI 值 最 高 ， 其 后 是 问题 银行 。 因 为 ， 高 
的 NLLTL 值 意味 着 高 的 贷款 损失 ， 我 们 可 以 发 现 聚 类 H 中 的 银行 倾向 于 给 高 风险 的 客户 提供 贷 
款 。 高 的 贷款 风险 也 使 得 这 些 银行 的 状况 不 佳 ， 这 点 可 以 从 高 的 NLLPLLNI 值 中 得 到 反映 。 

陛 类 分 析 的 一 个 重要 方面 是 识别 离 群 点 ， 即 那些 不 属于 任何 大 的 豪 类 的 对 象 。 如 图 9. 4 所 
示 ， 有 3 个 银行 可 以 看 做 是 孤立 的 聚 类 一 一 聚 类 B. RA FARK G。 这 些 银行 就 是 离 群 点 ， 他 
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们 都 有 自己 唯一 的 财务 状况 。 传 统 的 聚 类 算法 ， 例 如 久 - means 聚 类 ， 不 能 很 好 地 处 理 离 群 点 ， 


SOM 却 可 以 轻易 地 识别 。 

需要 多 少 个 聚 类 ? 

例如 ， 我 们 现在 使 用 一 个 2 x 2 的 SOM 来 对 同 
一 个 银行 集 进行 聚 类 。SOM 经 过 1000 次 迭代 训练 。 
可 以 分 类 为 健康 的 银行 ， 而 与 神经 元 4 关联 的 13 ea D) HEBR 
个 银行 可 以 分 类 为 问题 银行 。 由 5 x 5 的 SOM 识别 图 9.30 训练 后 2 x2 的 SOM 
得 到 一 份 问题 银行 的 报表 ， 而 且 可 以 收集 到 一 个 合适 的 金融 陈述 数据 。 银 行 破产 的 一 些 研究 指 
出 ， 一 般 的 银行 破产 能 在 买 回 日 期 之 前 6 ~ 12 个 月 被 检测 出 ， 有 些 情况 下 可 以 提前 到 银行 破产 之 
述 数据 。 表 9.5 显示 了 CAMELS 评分 的 平均 值 ， 中 位 值 和 标准 差 (SD)。 现 在 我 们 可 以 使 用 10 
个 输入 向 量 来 查看 SOM 的 响应 。 





在 一 个 多 维 数 据 集中 ， 很 难 确定 聚 类 的 数目 。 实 际 上 ， 当 一 个 聚 类 算法 产生 一 个 大 的 聚 类 
时 ， 离 群 点 便 会 被 吸收 到 这 些 聚 类 中 。 这 样 不 仅 会 产生 较 差 的 聚 类 结果 ， 而 且 ， 更 糟糕 的 是 ， 无 
法 识别 唯一 的 对 象 。 

e 
图 9.30 显示 了 U - ABER SOM 样本 覆盖 图 。 Re | 
然 ， 现 在 我 们 只 有 4 个 来 类 。 进 一 步 的 调查 分 析 显 Q—0 
示 ， 基 于 平均 值 ， 与 神经 元 1、2 和 3 关联 的 银行 
出 的 拥有 高 的 NLLPLLNI 值 的 两 个 问题 银行 和 两 个 正常 银行 ， 现 在 都 被 “健康 ” 聚 类 吸收 。 

如 何 测试 SOM 的 性 能 ? 

为 了 测试 包括 SOM 在 内 的 神经 网 络 ， 我 们 需要 一 个 测试 集 。 从 FDIC 的 人 工 报表 中 我 们 可 以 
Bil 4 46 (Alam et al. , 2000; Eichengreen, 2002) 。 虽 然 偿 付 能 力 和 流动 资产 是 在 接近 买 回 日 期 时 
最 重要 的 预测 因素 ， 资 产 质 量 、 收 入 和 管理 方法 在 破产 事件 接近 的 时 候 同样 显得 尤为 重要 。 为 了 
测试 SOM 的 性 能 ， 我 们 选择 了 去 年 破产 的 10 家 银行 ， 并 且 收 集 了 这 些 银行 破产 前 一 年 的 金融 陈 


表 9.5 破产 银行 的 财务 状况 
NITA NLLAA NPLTA NLLTL NLLPLLNI 
均值 ”中 位 数 标准 差 ”均值 ”中 位 数 标准 差 ”均值 ”中 位 数 标准 差 ”均值 中 位 数 标准 差 均值 中 位 数 标准 差 
-0.0625 -0.0616 0.0085 0.0642 0.0610 0.0234 0.0261 0.0273 0.0065 0.0341 0.0339 0.0092 7.3467 6.9641 3.8461 





跟 预 期 结果 一 样 , 在 2 x2 的 SOM 中 ，10 个 输入 向 量 都 被 神经 元 4 所 吸引 。 而 在 5 x5 的 
SOM 中 ， 情 况 更 加 复杂 。6 个 输入 向 量 被 神经 元 5 吸引 ， 有 2 个 输入 向 量 被 神经 元 10 所 吸引 ， 
有 1 个 输入 向 量 被 神经 元 20 所 吸引 ， 还 有 两 个 输入 向 量 被 神经 元 24 所 吸引 。 在 两 种 情况 下 ， 破 
产 银行 都 被 正确 地 聚 类 。 

最 后 ， 有 一 点 需要 我 们 的 注意 。 虽 然 SOM 是 一 个 很 强大 的 聚 类 工具 ， 每 一 个 聚 类 的 确切 含 
义 却 不 总 是 很 清晰 的 ， 通 常 我 们 需要 一 个 领域 专家 来 解释 聚 类 结果 。 同 时 SOM 只 是 神经 网 络 的 
一 种 ， 任 何 神经 网 络 的 性 能 都 取决 于 用 于 训练 网 络 的 数据 的 好 坏 。 在 本 案例 中 ， 我 们 只 使 用 了 S 
个 财务 变量 ， 我 们 可 能 需要 更 多 包含 银行 状况 的 额外 信息 的 变量 〈 工 业界 的 研究 者 通常 基于 
CAMELS 评级 系统 使 用 29 个 以 上 的 财务 变量 ) 。 

Berry 和 Linoff (2004) 给 出 了 与 聚 类 相关 的 一 个 挑战 的 例子 。 某 家 大 型 银行 决定 增加 其 房屋 
净值 贷款 的 市 场 份额 。 银 行 分 别 收集 了 5000 个 已 经 拥有 房屋 净值 贷款 和 5000 个 没有 房屋 净值 贷 
款 的 客户 数据 。 这 些 数据 包括 房屋 估 值 amount of credit available, amount of credit granted 、 客 户 
年 龄 、 婚 姻 状 况 、 小 孩 数 量 和 家 庭 收 入 等 。 这 些 数 据 被 用 来 训练 出 一 个 SOM。SOM 找 出 了 5 个 
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聚 类 。 其 中 的 一 个 聚 类 特别 有 意思 。 它 包含 已 经 拥有 房屋 净值 贷款 的 客户 。 这 些 客 户 年 龄 都 在 
40 岁 以 上 、 已 婚 且 小 孩 都 处 于 少年 晚期 。 银 行 于 是 假设 这 些 客户 贷款 的 目的 是 为 了 给 小 孩提 供 
大 学 学 费 。 于 是 ， 该 银行 进行 了 一 次 促销 活动 ， 将 房屋 净值 贷款 提供 为 一 种 解决 大 学 教育 费用 的 
方式 。 然 而 ， 这 次 促销 活动 的 结果 却 让 人 很 失望 。 

进一步 的 调查 分 析 显 示 问 题 还 是 出 现在 对 SOM 识别 出 的 聚 类 的 解释 上 。 于 是 ， 银 行 决定 加 
入 更 多 的 客户 信息 ， 例 如 账户 类 型 、 存 款 保险 体系 、 信 用 卡 系统 等 。 重 新 训练 SOM 以 后 才 发 现 ， 
那些 在 40 岁 以 后 且 小 孩 处 于 大 学 阶段 的 客户 往往 还 拥有 一 个 商业 账户 。 因 此 ， 银 行 总 结 出 ， 那 
些 客户 是 在 他 们 的 小 孩 离 开 家 上 大 学 以 后 ,父母 申 请 房屋 净值 贷款 是 为 了 开始 新 的 商业 活动 。 
于 是 ， 这 家 银行 针对 这 些 潜在 客户 群体 进行 了 一 次 促销 活动 ， 这 次 促销 活动 很 成 功 。 


9.5 遗传 算法 可 以 解决 的 问题 

遗传 算法 适用 于 许多 的 优化 问题 (Haupt and Haupt, 2004)。 优 化 本 质 上 是 寻找 一 个 问题 的 
更 好 的 解决 方案 的 过 程 。 这 意味 着 问题 往往 有 一 个 以 上 的 解决 方案 而 且 不 同方 案 的 质量 不 是 相 
等 的 。 遗 传 算法 生成 一 系列 相互 竞争 的 候选 方案 ， 然 后 让 这 些 方 案 在 自然 选择 过 程 中 进化 一 一 
较 差 的 方案 趋 于 灭绝 ， 而 较 好 的 方案 得 以 生存 并 繁殖 。 通 过 不 断 重复 这 一 过 程 ， 遗 传 算 法 会 生成 
一 个 最 优 的 方案 。 

案例 8: 旅行 商 问题 

我 想 要 开发 一 个 智能 系统 来 产生 最 佳 的 旅行 路 线 。 我 打算 自驾 游 ， 要 求 游览 完 西 欧 和 中 欧 
的 所 有 主要 城市 ， 然 后 回 家 。 和 遗传 算法 可 以 解决 这 个 问题 吗 ? - 

这 个 问题 就 是 著名 的 旅行 商 问题 (TSP) 。 给 定 固 定数 目的 城市 N 和 每 对 城市 间 的 旅行 费用 
(或 者 距离 ) ， 我 们 需要 找 出 游览 每 个 城市 刚好 一 次 、 且 最 终 返 回 出 发 点 的 最 便宜 的 方案 (或 者 
最 短路 径 ) 。 

虽然 旅行 商 问题 最 早 在 18 世纪 就 已 经 为 人 们 所 知 ， 但 是 直到 20 世纪 40 年 晚期 到 20 世纪 50 
年 代 早期 这 个 问题 才 被 正式 地 研究 ， 而 且 被 证 明 是 一 个 典型 的 NP 难 问题 (Dantzig et al. , 1954; 
Flood, 1955) 。 这 类 问题 使 用 组 合 搜 索 技 术 很 难 解决 。TSP 问题 的 搜索 空间 包括 W 个 城市 的 所 有 
可 能 的 组 合 ， 因 此 搜索 空间 的 大 小 是 N (城市 数目 的 连 乘 ) 。 因 为 城市 数目 可 能 会 很 大 ， 一 次 
检测 一 条 路 径 的 方法 不 具有 伸缩 性 。 

TSP 可 以 自然 地 用 来 表示 很 多 交通 和 逻辑 应 用 ， 例 如 校车 路 线 安排 、 居 家 人 士 的 肉 类 递送 、 
仓库 码 反 机 调度 、 邮 政 车 路 线 规划 以 及 很 多 其 他 的 应 用 。TSP 的 一 个 经 典 例子 是 电路 板 钻 孔 机 器 
的 调度 。 在 这 个 例子 中 ,孔洞 代表 城市 ， 旅 行 费用 是 将 钻头 从 一 个 孔洞 移动 到 另 一 个 孔洞 所 耗费 
的 时 间 。 

随 着 时 间 的 推移 ，TSP 问题 的 规模 也 在 显著 扩大 ， 从 最 开始 的 49 个 城市 的 方案 (Dantzing et 
al. , 1954 ) ， 发 展 到 最 近 的 15112 个 城市 的 问题 ( Applegate et al. , 2001), 

研究 人 员 使 用 不 同 的 技术 来 解决 TSP 问题 。 这 些 技术 包括 模拟 退火 (Laarhoven and Aarts, 
2009). 、 离 散 线 性 规划 (Lawler et al. , 1985) 、 神 经 网 络 (Hopfield and Tank, 1985) 、 分 支 定 界 算 
ik (Tschoke et al. ,1995 ) ， 马 尔 科 夫 链 (Martin et al. , 1991) 和 遗传 算法 (Potvin, 1996), wate 
算法 特别 适合 解决 TSP 问题 ， 因 为 它 能 快速 地 将 搜索 指向 搜索 空间 的 最 佳 区 域 。 

如 何 用 遗传 算法 解决 TSP 问题 ? 

首先 ， 我 们 需要 决定 如 何 表示 一 条 旅行 商 路 线 。 最 自然 的 路 线 表示 方法 是 路 径 表 示 法 
(Michalewicz，1996 ) 。 每 一 个 城市 被 赋予 一 个 字母 或 者 数字 名 称 ， 经 过 这 些 城 市 的 路 线 表示 为 一 
条 染色 体 ， 然 后 使 用 适当 的 遗传 操作 来 创建 新 的 路 线 。 
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假设 我 们 有 编号 从 1 ~9 的 9 个 城市 。 在 一 条 染色 体 中 ,整数 的 顺序 代表 了 对 应 的 城市 被 旅 

行商 访问 的 顺序 。 例 如 ， 下 面 这 条 染色 体 
js[s [s ]2[s|4]o]"] 

代表 的 是 如 图 9. 31 所 示 的 路 线 。 旅 行商 从 城市 1 开始 ， 
访问 所 有 其 他 的 城市 一 次 ， 最 后 返回 到 出 发 点 。 

TSP 问题 中 如 何 执行 交叉 运算 ? 

传统 形式 的 交叉 运算 不 能 直接 应 用 于 TSP 问题 中 。 对 
两 个 双亲 做 简单 地 部 分 交换 将 会 产生 包含 重复 和 遗漏 的 非 
法 路 线 一 有 的 城市 可 能 会 被 访问 两 次 ， 有 的 可 能 一 次 都 
没有 访问 到 。 例 如 ， 交 换 以 下 两 条 双亲 染色 体 的 一 部 分 


双亲 1: LLL6| 513|218|419[7] 双亲 2: [12746111914[18]2135] 


将 会 产生 两 条 路 线 ， 其 中 的 一 条 路 线 中 城市 5 被 访问 两 次 而 城市 7 却 没 有 被 访问 ， 另 一 条 路 线 中 
城市 7 被 访问 了 两 次 而 城市 5 却 没有 被 访问 。 


孩子 1， [1|6/5j3|9]4]8]2]5]. m2: [3]716]11|2|8]4]9[7] 


显然 ， 只 带 一 个 交叉 点 的 交叉 运算 并 不 适用 于 TSP 问题 。 为 了 克服 这 个 问题 ， 一 些 包含 两 
个 交叉 点 的 交叉 运算 被 提出 (Goldberg, 1989) 。 例 如 ，Goldberg 和 Lingle (1985) 提出 了 部 分 映 
射 交 叉 运 算 ，Davis (1985) 提出 了 顺序 交叉 运算 。 然 而 ， 这 些 运 算 大 部 分 都 是 从 一 个 亲 代 中 选 
择 部 分 路 线 的 同时 ， 保 留 从 另 一 个 双亲 选择 的 城市 的 顺序 ， 从 而 创建 新 的 后 代 。 图 9. 32 显示 了 
这 些 交叉 运算 的 执行 流程 。 

首先 ， 在 表示 两 个 双亲 染色 体 的 字符 串 中 随机 选择 两 个 交叉 点 〈 用 符号 “1 ”标记 ) 。 两 个 
交叉 点 之 间 的 染色 体内 容 定 义 了 互 换 子 段 。 通 过 交换 两 个 亲 代 的 互 换 子 段 ， 我 们 便 创 建 出 了 两 
个 后 代 染 色 体 ， 在 图 9. 32 中 星 号 代表 是 的 尚未 确定 的 城市 。 其 次 ， 每 一 个 亲 代 中 的 原始 城市 在 
后 代 中 都 保持 其 原 有 的 顺序 ， 然 后 删除 另 一 个 亲 代 中 的 互 换 子 段 。 例 如 ， 城 市 1、9、4 和 8， 出 
现在 第 二 个 亲 代 的 互 换 子 段 中 ， 在 第 一 个 亲 代 中 他 们 被 删除 。 剩 余 的 城市 则 被 放置 到 后 代 中 ， 并 
保持 其 原 有 顺序 。 最 终 的 结果 是 ， 一 个 后 代表 示 的 路 线 由 它 的 两 个 亲 代 各 自 部 分 决定 。 

TSP 问题 中 如 何 执行 变异 运算 ? 

变异 运算 一 共有 两 种 类 型 : 倒数 互 换 和 反 转 (Michalewiez, 1996) 。 图 9. 33a 和 图 9. 33b 分 别 
展示 了 这 两 种 变异 运算 的 执行 原理 。 互 换 运算 从 染色 体 中 随机 选择 两 个 城市 ， 然 后 简单 地 交换 
两 个 城市 的 位 置 。 反 转运 算 在 染色 体 字符 串 中 随机 选择 两 个 点 ， 然 后 将 这 两 个 点 之 间 的 城市 的 
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图 9.31 一 条 旅行 商 路 线 的 例子 
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b) 变异 后 的 染色 体 
图 9.32 TSP 问题 中 的 交叉 运算 图 9.33 TSP 问题 的 变异 运算 
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TSP 问题 中 如 何 定义 适应 性 函数 ? 

为 TSP 问题 创建 遗传 运算 并 不 是 一 件 容易 的 工作 ,但 是 定义 适应 函数 却 是 很 直接 的 一 一 我 
们 需要 做 的 仅仅 是 估计 路 线 的 总 长 度 。 每 一 个 单独 的 染色 体 的 适应 性 由 路 线 长 度 的 倒数 决定 。 
换 句 话说 ， 路 线 的 长 度 越 短 ， 相 应 染色 体 的 适应 能 力 越 强 。 

一 旦 适应 沙 数 和 遗传 运算 定义 完成 ， 就 可 以 开始 实现 和 运行 遗传 算法 。 

作为 例子 ， 我们 考虑 在 1 x1 单位 面积 下 的 20 个 城市 的 TSP 问题 。 首 先 ， 我 们 选择 染色 体 群 
体 的 大 小 和 需要 运行 的 遗传 代数 。 开 始 时 我 们 可 能 会 选择 相对 较 小 的 群体 和 少量 的 遗传 代数 来 
检验 得 到 的 解决 方案 。 图 9. 34 显示 了 由 20 个 染色 体 运 行 100 代 之 后 产生 的 最 佳 路 线 。 我 们 可 以 
看 到 ， 这 条 路 线 并 不 是 最 优 路 线 ， 显 然 还 可 以 得 到 改进 。 让 我 们 增 大 群体 中 染色 体 的 数量 并 再 次 
运行 遗传 算法 。 图 9. 35a 显示 了 运行 结果 。 路 线 的 总 长 度 下 降 了 20% ， 这 是 非常 显著 的 改进 。 


N-20, p,-0.7, p,-0.001 总 距离 ，5.124 
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图 9.34 性 能 图 和 大 小 为 20 的 染色 体 群体 经 过 100 代 遗 传 后 生成 的 最 佳 旅行 商 路 线 
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a) 变异 率 为 0.001 
N-200, p,-0.7, p,=0.001 总 距离 ，4.0825 
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b) 变异 率 为 0.01 
图 9.35 性 能 图 和 大 小 为 200 的 染色 体 群 体 生成 的 最 佳 路 线 
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如 何 确定 遗传 算法 已 经 真正 找到 了 最 优 路 线 ? 

事实 上 ， 我 们 无 法 确定 遗传 算法 何 时 能 够 找到 最 优 路 线 。 只 有 在 不 同 的 染色 体 群 体 大 小 上 
使 用 不 同 的 交叉 率 和 变异 率 ， 通 过 进一步 尝试 运行 遗传 算法 ， 才 能 获得 答案 。 

例如 ， 我 们 将 变异 率 提高 到 0.01。 图 9.35b 显示 了 运行 结果 。 虽 然 总 距离 有 少量 的 下 降 ,但 
是 旅行 商 路 线 却 和 图 9. 35a 中 显示 得 类 似 。 现 在 我 们 可 能 会 尝试 增 大 染色 体 群体 的 大 小 ， 然 后 重 
新 运行 遗传 算法 。 然 而 ， 我 们 却 几乎 不 可 能 获得 一 个 明显 更 好 的 方案 。 我 们 可 以 确定 这 条 路 线 就 
是 最 优 的 吗 ? 当然 ， 我 们 并 不 奢望 一 条 最 优 的 路 线 ! 然而 ， 经 过 几 次 运行 以 后 ， 我 们 完全 可 以 确 
定 所 获得 的 路 线 是 一 条 好 的 路 线 。 


9.6 混合 智能 系统 可 以 解决 的 问题 

为 了 解决 现实 世界 中 的 复杂 问题 ， 我 们 需要 一 个 综合 了 专家 系统 、 模 糊 逻 辑 、 神 经 网 络 和 进 
化 计算 的 优点 的 复杂 智能 系统 。 这 种 系统 可 以 集成 类 似 人 类 的 特定 领域 的 专业 知识 ， 并 且 拥 有 
学 习 和 适应 快速 变化 环境 的 能 力 。 虽 然 混 合 智能 系统 这 个 领域 还 在 不 断 发 展 ， 而 且 大 部 分 混合 
工具 并 不 是 特别 有 效 ， 神 经 网 络 模糊 系统 却 已 经 成 为 一 种 用 于 很 多 成 功 应 用 的 成 熟 的 先进 技术 。 
神经 网 络 可 以 从 数据 中 学 习 ， 而 模糊 逻辑 的 主要 优势 在 于 其 对 人 类 决策 的 建 模 能 力 。 

案例 9: 神经 模糊 决策 支持 系统 

我 想 开发 一 个 通过 心脏 图 像 来 诊断 心肌 灌注 的 智能 系统 。 我 拥有 一 组 心脏 图 像 和 临床 诊治 
记录 ， 以 及 医生 的 解释 。 混 合 系统 可 以 解决 这 个 问题 吗 ? 

现代 心脏 医学 中 的 诊断 是 基于 分 析 SPECT ( 单 光 子 发 射 计 算 机 化 断层 扫描 ) 图 像 。 通 过 向 
病人 注射 放射 性 示 踪 剂 ， 获 得 两 套 SPECT 图 像 : 一 套 成 像 于 注射 10 ~ 15 分 钟 以 后 应 力 最 大 的 时 
候 〈 应 力图 像 ) ， 另 一 套 则 成 像 于 注射 后 2 ~5 个 小 时 以 后 (休息 图 像 )。 放 射 性 示 踪 剂 在 心脏 肌 
肉 中 的 分 布 和 肌肉 灌注 成 正比 。 因 此 ， 通 过 对 比 应 力图 像 和 休息 图 像 ， 心 脏 病 专家 通常 可 以 检测 
心脏 功能 的 异常 。 

SPECT 图 像 通常 表示 为 一 个 具有 256 级 灰 度 的 高 分 辩 率 黑白 图 片 。 图 像 中 的 较 亮 的 斑点 对 应 
心肌 灌注 区 域 ， 而 更 暗 的 斑点 则 指示 可 能 存在 局 部 贫血 。 不 幸 的 是 ，SPECT 图 像 的 视觉 检查 是 
非常 主观 的 ， 不 同 医生 的 解释 往往 是 不 一 致 的 ， 因 而 很 容易 发 生 错 误 。 显 然 ， 能 够 帮助 心脏 病 专 
家 诊断 心脏 SPECT 图 像 的 智能 系统 将 会 有 很 大 的 价值 。 

在 这 个 案例 中 ， 我 们 使 用 267 个 心脏 病 诊断 病例 。 每 一 个 病例 包含 两 个 SPECT AIR 〈 应 力 
图 像 和 休息 图 像 ) ， 且 被 分 为 22 个 区 域 。 区 域 的 亮度 ， 反 过 来 反映 了 该 区 域内 的 灌注 ， 表 示 为 一 
个 0~100 之 间 的 整数 (Kurgan et al. ，2001) 。 因 此 ， 每 个 心脏 病 诊断 病例 表示 为 4 个 连续 性 特 
征 和 一 个 代表 整体 诊断 一 一 正常 或 异常 的 二 元 特征 。 

整个 SPECT 数据 集 由 55 个 被 划分 为 正常 〈 阳 性 样本 ) 的 病例 和 212 个 被 划分 为 异常 (阴性 
样本 ) 的 案例 组 成 。 这 个 数据 集 被 划分 为 训练 集 和 测试 集 。 训 练 集 包括 40 个 阳性 样本 和 40 个 阴 
性 样本 。 测 试 集 包括 15 个 阳性 样本 和 172 个 阴性 样本 。 

我 们 可 以 训练 一 个 反 向 传播 神经 网 络 来 将 SPECT 图 像 划 分 为 正常 和 异常 吗 ? 

反 向 传播 神经 网 络 确实 可 以 解决 SPECT 图 像 分 类 问题 一 一 训练 集 的 大 小 是 足够 大 的 ， 神 经 
网 络 在 这 里 可 以 看 做 一 个 分 类 器 。 输 入 层 中 的 神经 元 数目 由 应 力图 像 和 休息 图 像 中 区 域 的 总 数 
目 决 定 。 在 这 个 例子 中 ， 每 个 图 像 被 划分 为 22 个 区 域 ， 所 以 我 们 需要 44 个 输入 神经 元 。 因 为 
SPECT 图 像 将 被 分 类 为 正常 或 异常 ， 我 们 应 该 使 用 2 个 输出 神经 元 。 多 次 的 实验 尝试 显示 隐 含 层 
中 仅仅 使 用 5 ~7 个 神经 元 时 能 够 获得 很 好 的 泛 化 能 力 。 反 向 传播 网 络 的 学 习 相 对 较 快 ， 且 能 收 
敛 到 一 个 方案 。 
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然而 ， 当 我 们 在 测试 集中 测试 网 络 时 ， 我 们 发 现 网 络 的 性 能 相当 差 一 一 大 约 25% 的 正常 的 
心脏 病 诊断 病例 被 误 分 类 为 异常 ，35% 以 上 的 异常 病例 被 误 分 类 为 正常 ， 总 体 的 诊断 错误 超过 
3326 。 这 意味 着 训练 集中 可 能 缺少 某 些 重要 的 样本 神经 网 络 性 能 由 训练 网 络 的 样本 决定 )。 尽 
管 如 此 ， 我 们 还 是 可 以 显著 地 提高 诊断 的 准确 性 。 

首先 ， 我 们 需要 重新 定义 问题 。 为 了 训练 网 络 ， 我 们 使 用 相 辣 数目 的 阳性 样本 和 阴性 样本 。 
虽然 在 实际 的 临床 试验 中 正常 和 异常 的 SPECT 图 像 的 比例 很 不 相同 。 异 常 心脏 病 病例 的 误 分 类 
比 正常 的 心脏 病 病例 的 误 分 类 将 会 导致 更 加 严重 的 后 果 。 因 此 ， 为 了 得 到 一 个 小 的 异常 的 SPECT 
图 像 的 分 类 误差 ,我们 可 能 允许 正常 图 像 有 相对 大 的 误差 。 

神经 网 络 将 会 产生 两 个 输出 。 第 一 个 输出 对 应 于 SPECT 图 像 属 于 normal (正常 ) 类 的 可 能 
性 ， 第 二 个 输出 对 应 于 图 像 属 于 abnormal (异常 ) 类 的 可 能 性 。 例 如 ， 如 果 第 一 个 输出 (正常 ) 
为 0. 92 且 第 二 个 输出 (HH) 为 0. 16， 相 应 的 SPECT 图 像 被 分 类 为 正常 ， 而 且 我 们 可 以 得 出 对 
应 病例 心脏 病 发 作 的 风险 很 低 的 结果 。 另 一 方面 ， 如 果 normal 的 输出 值 很 低 (假设 为 0.17) 而 
abnormal 的 输出 值 要 高 得 多 (假设 0.51)， 相 应 的 SPECT 图 像 被 分 类 为 异常 ， 而 且 我 们 可 以 得 出 
对 应 病例 心脏 病 发 作 的 风险 很 高 的 结论 。 然 而 ， 如 果 两 个 输出 值 很 接近 一 一 假设 normal 输出 值 
为 0. 51, abnormal 输出 值 为 0.49， 我 们 就 不 能 很 自信 地 对 图 像 进 行 分 类 。 

我 们 可 以 使 用 模糊 未 辑 来 进行 医疗 诊断 中 的 决策 吗 ? 

医生 对 SPECT 图 像 进 行 分 类 时 心中 并 没有 精确 的 阔 值 。 心 脏 病 专家 检查 诊断 图 像 中 所 有 区 
域 的 灌注 ， 并 且 对 比 应 力图 像 和 休息 图 像 中 相应 的 心肌 区 域 的 亮度 。 实 际 上 ， 医 生 通 常 依靠 他 们 
的 经 验 和 直觉 来 检测 心肌 异常 。 模 糊 逻 辑 为 我 们 提供 了 一 种 对 心脏 病 专 家 评估 心脏 病 发 作风 险 
进行 建 模 的 手段 。 

要 建立 一 个 模糊 系统 ， 我 们 首先 需要 确定 输入 和 输出 变量 ,定义 模糊 集 和 构建 模糊 规则 。 对 
于 我 们 的 问题 ， 有 两 个 输入 (NN output 1 和 NN output 2) 和 一 个 输出 〈 心 脏 病 发 作 的 风险 ) 。 输 
人 变量 被 归 一 化 到 区 间 [0,1] 内 ， 输 出 的 变化 范围 可 以 从 0 ~ 100% 。 图 9.36、 图 9. 37 和 
图 9. 38 显示 了 模糊 系统 中 用 到 的 语言 变量 的 模糊 集 。 模 糊 规则 如 图 9. 39 所 示 。 
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图 9.37 神经 网 络 异 常 输出 的 模糊 集 
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图 9.38 语言 变量 “风险 ”的 模糊 集 


. If (NN output1 is Low) and (NN output2 is Low) then (Risk is Moderate) 

. If (NN outputi is Low) and (NN output2 is Medium) then (Risk is High) 

If (NN output is Low) and (NN output2 is High) then (Risk is Very high) 

. If (NN. output1 is Medium) and (NN output2 is Low) then (Risk is Low) 

If (NN_output1 is Medium) and (NN output2 is Medium) then (Risk is Moderate) 
. If (NN output1 is Medium) and (NN output2 is High) then (Risk is High) 

. If (NN output1 is High) and (NN output2 is Low) then (Risk is Very. low) 

. If (NN output1 is High) and (NN output2 is Medium) then (Risk is Low) 

. If (NN output1 is High) and (NN output2 is High) then (Risk is Moderate) 


E 9.39 心脏 疾 病 风险 评估 的 模糊 规则 
图 9. 40 表示 的 是 用 于 心脏 疾病 风险 评估 的 神经 模糊 决策 支持 系统 的 完整 结构 。 为 了 构建 该 
系统 ， 我 们 可 以 使 用 MATLAB 神经 网 络 工具 包 和 MATLAB 模糊 逻辑 工具 箱 。 系 统 开发 完成 以 后 ， 
我 们 可 以 使 用 图 9. 41 所 示 的 三 维 图 来 研究 和 分 析 它 的 表现 。 
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图 9. 40 用 于 心脏 疾病 风险 评估 的 图 9.41 模糊 规则 库 的 三 维 图 
神经 模糊 决策 支持 系统 的 层次 结构 
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系统 的 输出 是 一 个 代表 病人 心脏 病 发 作风 险 的 明确 数值 。 基 于 这 个 数值 ， 心 脏 病 专家 现在 
能 以 更 高 的 确定 性 来 对 心脏 病 病例 进行 分 类 ， 当 风险 被 量化 以 后 ， 决 策 者 作出 正确 决策 的 可 能 
性 更 高 。 例 如 ， 如 果 风 险 很 低 (假设 低 于 30% ) ， 心 脏 病 病例 可 以 被 分 类 为 正常 ， 但 是 如 果 风 险 
很 高 (假设 高 于 50% ) ， 病 例 则 被 分 类 为 异常 。 

然而 ， 风 险 为 30% ~ 50% 的 心脏 病 病 例 既 不 能 被 分 类 为 正常 ， 也 不 能 被 分 类 为 异常 一 一 相 
反 ， 这 样 的 病例 是 不 确定 的 。 

我 们 可 以 利用 经 验 丰 富 的 心脏 病 专家 的 知识 ， 来 对 一 些 不 确定 病例 进行 分 类 吗 ? 

经 验 丰 富 的 心脏 病 专家 知道 ， 在 正常 的 心肌 中 ， 相 同 区 域内 应 力 最 大 时 的 灌注 通常 比 休息 
时 的 灌注 要 高 。 因 此 ， 通 过 对 相应 的 区 域 应 用 以 下 的 一 些 假设 ， 我 们 可 以 使 不 确定 的 病例 更 加 
确定 : 

1) 在 区 域内 ， 如 果 应 力 时 的 灌注 高 于 休息 时 的 灌注 ， 那 么 心脏 病 发 作 的 风险 应 该 被 降低 。 

2) 在 区 域 i 内， 如 果 应 力 时 的 灌注 不 比 休 息 时 的 灌注 高 ， 那 么 心脏 病 发 作 的 风险 应 该 被 
提高 。 
这 些 规则 在 诊断 系统 中 可 以 实现 如 下 : 
步骤 1: 将 心脏 病 病例 提供 给 神经 -模糊 系统 来 分 析 。 
步骤 2: 如 果 系 统 的 输出 低 于 30% , 将 提供 的 病例 分 类 为 正常 并 且 结 束 。 如 果 输 出 高 于 
5096 ， 将 病例 分 类 为 异常 并 且 结 束 。 否 则 ， 转 到 步骤 3。 

步骤 3: 对 于 区 域 1， 用 应 力 时 的 灌注 减 去 休息 时 的 灌注 。 如 果 结 果 为 正 ， 将 当前 的 风险 乘 
以 0. 99 来 降低 风险 。 否 则 ， 将 当前 风险 乘 以 1.01 来 提高 风险 。 对 所 有 的 22 个 区 域 重复 这 个 过 
程 ， 然 后 转 到 步骤 4。 

PRA: 如 果 新 的 风险 值 低 于 30% ， 将 病例 分 类 为 正常 ;如 果 新 的 风险 值 高 于 50% ， 将 病 
例 分 类 为 异常 ， 否则 ， 将 病例 分 类 为 不 确定 。 

现在 ， 如 果 我 们 将 测试 集 应 用 到 神经 - 模糊 系统 中 ， 我 们 会 发 现 诊断 的 准确 性 得 到 了 显著 
提高 一 一 整体 的 诊断 误差 没有 超过 5% ， 而 且 只 有 3 多 的 人 异常 心脏 病 病例 被 误 分 类 为 正常 。 虽 
然 我 们 没有 提高 系统 在 正常 病例 上 的 诊断 性 能 (仍然 有 超过 30% 的 正常 病例 被 误 分 类 为 异常 ) ， 
而 且 总 病例 数量 的 20% 以 上 被 分 类 为 不 确定 ， 神 经 -模糊 系统 在 对 SPECT 图 像 进行 分 类 时 得 到 
的 结果 其 至 比 心脏 病 专家 都 要 好 。 最 重要 的 是 ， 蜡 常 的 SPECT 图 像 现 在 以 更 高 的 准确 性 被 识别 。 
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作 (虽然 在 解决 这 个 问题 时 ， 它们 互相 协作 ) 。 当 一 个 新 的 病例 被 提供 给 诊断 系统 时 ， 神 经 网 络 
确定 了 模糊 系统 的 输入 。 然 后 ， 模 糊 系 统 利 用 预先 定义 好 的 模糊 集 和 模糊 规则 ， 将 输入 映射 到 输 
出 ， 从 而 得 到 心脏 病 发 作 的 风险 。 

存在 成 功 的 同 质 结构 的 神经 -模糊 系统 吗 ? 

一 个 典型 的 带 有 同 质 结构 的 神经 模糊 系统 的 例子 是 适应 神经 模糊 推理 系统 (ANFIS) 。ANFIS 
不 能 被 划分 为 独立 不 同 的 部 分 。 实 际 上 ，ANFIS 是 一 个 可 以 进行 模糊 推理 的 多 层 神 经 网 络 。 

案例 10， 时序 预测 

我 想 开发 一 个 工具 ， 用 于 预测 飞行 器 在 降落 到 航空 母 舰 过 程 中 的 轨迹 。 我 有 一 个 不 同 飞行 
员 和 驾驶 不 同 飞行 器 的 降落 轨迹 的 数据 库 ， 同 时 我 使 用 能 够 提供 降落 飞行 器 的 实时 轨迹 的 雷达 数 
值 数据 。 我 的 目标 是 基于 飞机 的 当前 位 置 ， 至 少 提前 2 秒 预 测 飞行 器 的 轨迹 。 神 经 模糊 系统 能 够 
解决 这 个 问题 吗 ? 

飞行 器 的 降落 ， 尤 其 是 降落 到 航空 母 舰 中 ， 是 一 个 极其 复杂 的 过 程 。 它 受到 很 多 因素 的 影 
响 : 飞行 甲板 的 空间 限制 和 运动 情况 〈 包 括 倾斜 程度 和 播 押 程度 ) ， 飞 行 条 例 和 燃料 负载 ， 持 续 
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机 械 准备 和 最 关键 的 时 间 限 制 等 。 航 空 母 舰 有 大 约 10 RABE PRR, A aA 20 英 斥 的 位 
移 。 此 外 ， 在 夜间 或 者 风雨 天 气 下 ， 很 难看 到 接近 的 飞行 器 。 

负责 飞机 的 最 后 接近 和 降落 的 是 降落 信号 官 〈LS0) 。 实 际 上 ， 拒 绝 降落 这 一 最 重要 的 决定 
是 由 LSO 而 不 是 飞行 员 作出 的 。 当 飞行 器 离 甲 板 的 距离 为 1 海里 〈 大 概 相当 于 60 秒 的 时 间 ) 
时 ,需要 对 其 进行 仔细 的 观察 和 指导 。 在 这 段 关键 的 时 间 内 ，LSO 至 少 需要 提前 2 秒 预测 飞行 器 
的 轨迹 。 这 类 问题 就 是 数学 中 的 时 间 序 列 预测 问题 。 

什么 是 时 间 序 列 ? 

时 间 序 列 可 以 定义 为 一 个 观测 的 集合 ， 其 中 的 每 个 观测 都 在 一 个 特定 的 时 间 被 记录 。 例 如 ,我 
们 可 以 通过 记录 某 一 个 时 间 间隔 (飞行 器 降落 前 60 秒 ) 内 飞行 器 的 位 置 来 得 到 一 个 时 间 序列 。 现 
实 世 界 中 的 时 间 序 列 问题 往往 是 非 线性 的 ， 而 且 经 常 存在 混乱 的 行为 ， 因 而 很 难 对 其 进行 建 模 。 

飞行 器 降落 轨迹 预测 主要 依靠 LSO 的 经 验 (所 有 的 LSO 都 是 经 过 训练 的 飞行 员 ) 。 自 动 预测 
系统 能 够 使 用 航空 母 舰 中 的 雷达 提供 的 飞行 器 的 位 置 数据 ， 以 及 之 前 的 飞行 员 驾 驶 不 同 飞行 器 
降落 的 数据 记录 (Richards, 2002) 。 系 统 使 用 过 去 的 数据 离线 训练 。 当 飞行 器 当前 的 移动 数据 在 
线 提供 给 系统 以 后 ， 系 统 要 能 够 预测 未 来 几 秒 内 飞行 器 的 移动 。 飞 行 器 轨迹 预测 的 时 间 序列 如 
图 9. 42 所 示 。 





输入 ， 飞 行 器 当前 iui. ma 
移动 的 描述 EIS 

20 
时 间 序列 fo 10 
fata |) E o 
-10 

0 2 4 6 8 

时 间 (种 ) HI CEP) 


图 9. 42 ”飞行 器 轨迹 的 在 线 时 间 序 列 预测 


为 了 在 线 预 测 飞行 器 的 位 置 ， 我 们 将 使 用 ANFIS。 它 将 从 给 定 的 时 间 序 列 数据 中 学 习 ， 从 而 
ON 

ANFIS 的 输入 是 什么 

STRONG: Sul BE RD 硕 测 时 间 序 列 的 未 来 值 。 例 如 ， 如 果 我 们 要 提前 2 秒 预 测 飞 行 器 的 
位 置 ， 我 们 需要 使 用 飞行 器 当前 的 位 置 数据 以 及 前 2、4、6 秒 的 数据 记录 。 这 4 个 已 知 的 数据 组 
成 了 一 个 输入 模式 一 一 一 个 4 维 向 量 ， 其 形式 如 下 : 

x-[x(t-6)x(t-4)x(t-2)x(1)] 

RB, x(t) AERE t Eb KATA 

ANFIS 的 输出 对 应 于 预测 的 飞行 器 轨迹 : 飞行 器 2 秒 以 后 的 位 置 x(t+2)。 

在 本 案例 中 ， 我 们 使 用 10 个 飞行 器 的 降落 轨迹 一 一 其 中 5 个 用 来 训练 ， 另 外 5 个 用 来 测试 。 
每 一 个 轨迹 就 是 一 个 时 间 序 列 ， 这 个 时 间 序 列 是 在 飞行 器 降落 前 60 秒 的 时 间 内 每 隔 半 秒 记录 一 
次 的 位 置 数据 。 因 此 ， 数 据 集中 的 每 一 个 轨迹 包含 121 个 值 。 

如 何 构建 用 于 训练 ANFIS 的 数据 集 ? 

考虑 图 9.43， 它 显示 了 一 条 飞行 器 轨迹 和 用 轨迹 数据 每 隔 2 秒 采样 一 次 而 得 到 的 一 个 3 x5 
的 训练 数据 集 。 输 入 变量 x, 、x,、x， 和 和 分 别 对 应 于 时 间 (£76). (174). (9-72) 和 + 处 飞行 
器 的 位 置 。 输 出 的 期 望 值 对 应 于 提前 2 秒 的 预测 ，x(:+2)。 图 9. 43 中 显示 的 训练 数据 集 构建 于 
t 取 值 为 6 秒 (第 一 行 )，6.5 秒 (第 二 行 ) 和 7.0 秒 (EZT). 
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输入 
x SpE | | Xx X»  * 
ni BEEENEEE 


-174 21 110 39 42 
-129 7.5 10.1 2.1 4.9 
-100 98 82 20 5.3 





图 9. 43 飞行 器 轨迹 和 训练 ANFIS 的 数据 集 


在 60 秒 的 时 间 间 隔 上 对 飞行 器 降落 轨迹 使 用 同样 的 过 程 ， 我 们 可 以 得 到 用 105 x 5 的 矩阵 表 
示 的 105 个 训练 样本 。 因 此 ， 用 来 训练 ANFIS 的 整个 数据 集 可 表示 为 一 个 525 x5 的 矩阵 。 

需要 给 每 一 个 输入 变量 指定 几 个 隶属 函数 ? 

一 个 实践 中 用 到 的 方法 是 选择 最 少 的 隶属 函数 。 因 此 ， 我 们 可 以 从 给 每 个 输入 变量 指定 2 个 
隶属 函数 开始 。 

图 9. 44 显示 了 一 条 实际 的 飞行 器 轨迹 和 经 过 1 和 100 次 和 迭代 训练 得 到 的 ANFIS 的 输出 。 如 
图 所 示 ， 即 使 是 选 代 100 XX, ANFIS 的 性 能 依然 不 能 令 人 满意 。 我 们 也 可 以 看 出 ， 增 加 迭代 次 数 
并 没有 明显 改进 ANFIS 的 性 能 。 





时 间 ( 秒 ) 
a) 一 次 


— — 飞行 器 轨迹 
“eee ANFIS 预 测 


HR) 





30 
时 间 ( 秒 ) 
b) 100 次 


图 9.44 带 有 4 个 输入 变量 且 每 个 输入 变量 指定 2 个 隶属 函数 的 ANFIS 的 性 能 


如 何 改进 ANFIS 的 性 能 ? | 
通过 给 每 一 个 输入 变量 指定 3 个 隶属 函数 可 以 明显 改善 ANFIS 的 性 能 。 图 9.45 显示 了 结果 : DUE 
1 次 和 迭代 训练 后 ，ANFIS 预测 的 飞行 器 轨迹 就 比 之 前 已 经 迭代 100 次 的 训练 得 到 的 结果 还 要 准确 。 
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一 一 飞行 器 轨迹 
ANFIS 预 测 


排 (英尺 ) 





0 10 20 30 40 50 60 
tial (FD) 
图 9.45 带 有 4 个 输入 变量 且 每 个 输入 变量 指定 3 个 隶属 函数 的 ANFIS 在 一 次 迭代 后 的 性 能 
另 一 种 改善 时 间 序 列 预测 性 能 的 方法 是 增加 输入 变量 的 个 数 。 例 如 ， 考 虑 一 个 具有 6 个 输入 
变量 的 ANFIS， 其 中 每 一 个 变量 分 别 对 应 于 飞行 器 在 时 间 (£75). (£74), (£73), (6-2). 
(£71) 和 zt 处 的 飞行 位 置 。ANFIS 的 输出 还 是 提前 2 秒 的 预测 。 现 在 ， 训 练 数据 集 用 一 个 535 x 
7 的 和 矩阵 表示 。 
为 每 个 输入 变量 指定 了 最 小 数目 的 隶属 函数 以 后 ， 我 们 就 可 以 进行 一 次 迭代 训练 ANFIS， 并 
用 一 个 测试 轨迹 来 观察 它 的 性 能 。 如 图 9. 46 所 示 ， 带 有 6 个 输入 变量 的 ANFIS 的 性 能 比 带 有 4 
个 输入 变量 的 ANFIS 的 性 能 要 好 ， 且 仅仅 在 一 次 迭代 训练 后 就 能 提供 满意 的 预测 结果 。 


一 一 飞行 器 轨迹 
ve ANFIS 预测 
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图 9.46 带 有 6 个 输入 变量 且 每 个 输入 变量 指定 2 个 隶属 函数 的 ANFIS 的 性 能 
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9.7 


小 结 


本 章 主要 研究 知识 工程 。 首 先 ， 我 们 讨论 了 智能 系统 所 能 够 解决 的 问题 类 型 ， 介 绍 了 知识 工 
程 过 程 的 6 个 步骤 。 其 次 ， 我们 分 析 了 专家 系统 、 模 糊 系统 、 神 经 网 络 和 遗传 算法 的 一 些 典 型 应 
用 。 我 们 演示 了 如 何 构 建 智能 系统 来 解决 诊断 、 选 择 、 预 测 、 分 类 、 聚 类 和 优化 问题 。 最 后 ,我 
们 讨论 了 混合 神经 -模糊 系统 在 决策 支持 和 时 序 预测 方面 的 应 用 。 

本 章 的 主要 内 容 有 : 


知识 工程 是 构建 基于 知识 的 智能 系统 的 过 程 。 它 主要 有 6 个 步骤 : 问题 评 佑 、 知 识 和 数 
据 获取 、 原 型 系统 开发 、 完 整 系统 开发 、 系 统 评价 和 修订 、 系 统 集成 和 维护 。 

智能 系统 主要 用 于 诊断 、 选 择 、 预 测 、 分 类 、 聚 类 、 优 化 和 控制 等 问题 。 智 能 系统 的 构 
建 工具 的 选择 主要 取决 于 所 要 解决 的 问题 的 类 型 、 数 据 的 可 用 性 、 专 家 意见 以 及 解决 方 
案 的 形式 和 内 容 。 

理解 问题 域 是 构建 智能 系统 的 关键 。 开 发 原型 系统 可 以 帮助 我 们 测试 对 问题 的 理解 程度 
并 确保 我 们 的 问题 解决 策略 、 构 建 工具 的 选择 、 数 据 和 知识 的 表示 技术 能 适合 我 们 将 要 
解决 的 任务 。 

与 传统 的 计算 机 程序 不 同 ， 智 能 系统 主要 用 来 解决 那些 没有 明确 定义 “正确 ”和 “ 错 
误 ” 解 决 方案 的 问题 。 因 此 ， 系 统 通常 要 通过 用 户 选择 的 测试 用 例 来 进行 评价 。 

智能 系统 擅长 于 解决 诊断 和 故障 排除 问题 。 诊 断 专 家 系统 相对 来 说 是 比较 容易 进行 开发 
的 。 大 多 数 的 诊断 问题 有 一 个 有 限 的 解决 方案 的 列表 ， 并 且 只 涉及 很 少量 的 良好 形式 化 
的 知识 ， 人 类 专家 通常 只 需要 很 少 的 时 间 就 能 解决 这 样 的 问题 。 

解决 真实 世界 中 的 分 类 问题 时 往往 会 遇 到 不 正确 和 不 完整 的 数据 。 专 家 系统 可 以 通过 增 
量 获 取 的 论据 和 不 同 信任 度 的 信息 来 处 理 这 样 的 数据 。 

模糊 系统 很 适合 模拟 人 类 的 决策 过 程 。 重 要 的 决策 通常 是 基于 人 们 的 直觉 、 常 识 和 经 验 ， 
而 不 是 基于 数据 的 可 用 性 和 精确 性 。 模 糊 技 术 提 供 了 一 种 处 理 “ 软 标准 ”和 “模糊 数 
据 ” 的 方法 。 虽 然 决策 支持 模糊 系统 可 能 包含 几 十 甚至 上 百 条 规则 ,但 是 它 却 可 以 很 快 
地 进行 开发 、 测 试 和 实现 。 

神经 网 络 是 一 类 已 经 被 成 功 地 用 于 解决 预测 、 分 类 和 聚 类 问题 的 通用 工具 。 神 经 网 络 主 - 
要 应 用 于 语音 和 字符 识别 、 医 疗 诊断 、 过 程控 制 、 机 器 人 技术 、 雷 达 目 标识 别 、 汇 率 预 
测 和 交易 欺诈 检测 等 领域 并且 其 应 用 领域 还 在 快速 扩大 。 

多 层 反 向 传播 神经 网 络 特别 善于 解决 预测 和 分 类 问题 。 但 是 训练 样本 的 选择 也 很 关 
键 一 一 样本 集 必须 覆盖 所 有 输入 值 的 全 部 取 值 范围 。 神 经 网 络 的 效果 好 坏 依 赖 于 训练 神 
经 网 络 的 数据 的 好 坏 。 

竞争 学 习 神 经 网 络 适 合 于 解决 聚 类 和 分 类 问题 。 在 竞争 神经 网 络 中 ， 每 一 个 竞争 神经 元 和 
一 个 单独 的 聚 类 相关 联 。 然 而 ， 聚 类 是 一 个 非 监督 的 过 程 ， 所 以 不 能 直接 用 竞争 神经 元 来 
标识 每 一 个 聚 类 。 在 大 多 数 实际 应 用 中 ， 由 领域 专家 来 负责 解释 每 一 个 聚 类 所 表示 的 含义 。 
遗传 算法 适合 解决 复杂 的 优化 问题 。 遗 传 算法 产生 一 个 种 群 的 可 行 的 解决 方案 ， 并 让 这 
些 方案 在 一 个 自然 选择 的 过 程 中 进化 。 为 了 确保 能 到 找到 问题 的 最 优 解 决 方案 ， 遗 传 算 
法 会 以 不 同 的 交叉 率 和 突变 率 在 不 同 大 小 的 染色 体 种 群 中 运行 。 

解决 真实 世界 中 的 复杂 问题 ， 往 往 需要 一 个 能 够 将 特定 领域 的 人 类 专家 和 学 习 能 力 集成 
的 复杂 智能 系统 的 应 用 。 虽 然 混合 智能 系统 还 在 不 断 发 展 ， 神 经 -模糊 系统 已 经 在 决策 
支持 领域 找到 了 很 多 类 型 的 应 用 。 


第 9 章 知识 工程 237 


复习 题 


1. 


什么 是 知识 工程 ? 描述 知识 工程 的 主要 步骤 。 为 什么 选择 合适 的 工具 是 构建 智能 系统 的 关键 
ZE RR? 


. 知识 获取 过 程 的 步骤 有 哪些 ? 为 什么 知识 获取 常常 被 称 为 知识 工程 的 瓶颈 ? 获取 的 数据 如 何 
影响 系统 构建 工具 的 选择 ? 

. 什么 是 原型 ? 什么 是 测试 用 例 ? 如 何 测试 智能 系统 ? 如 果 错 误 选 择 了 系统 构建 工具 ， 该 怎 
么 办 ? 

. 为 什么 新 兴 的 智能 技术 变 为 以 问题 为 驱动 ， 而 不 是 过 去 的 以 好 奇 心 为 驱动 ? 

.为 什么 对 于 诊断 和 故障 排除 问题 而 言 ， 专 家 系统 是 很 好 的 选择 ? 什么 是 电话 规则 ? 

. 开发 专家 系统 时 如 何 选 择 工 具 ? 专家 系统 框架 的 优点 是 什么 ? 构建 专家 系统 时 如 何 选择 专家 
框架 ? 


. 开发 一 个 基于 规则 的 用 于 空调 诊断 的 专家 系统 。 空 调 是 一 个 复杂 的 设备 ， 有 许多 区 域 和 组 成 


部 件 非 专业 人 士 无 法 直接 操作 。 除 此 之 外 ， 在 向 专业 服务 人 员 寻 求 服 务 之 前 ， 有 一 些 事情 可 
以 首先 检测 。 该 专家 系统 应 该 能 够 诊断 一 些 诸如 你 是 否 有 能 力 自己 修复 故障 的 简单 问题 。 因 
此 可 以 避免 打 不 必要 的 电话 给 服务 公司 。 空 调 系统 可 能 出 现 的 问题 有 : 设备 冻结 、 漏 水 、 不 
制冷 和 不 运行 。 详 细 信 息 可 以 参考 空调 的 故障 排除 手册 。 你 也 可 以 在 以 下 网 站 中 获取 一 些 有 
用 的 信息 http://www. accheckup. com/trouble. htm, 


. 以 下 显示 了 一 系列 使 用 贝 叶 斯 论据 积累 来 评估 病人 的 胸痛 不 适 的 规则 。 评 价 这 个 系统 并 且 提 


供 一 个 推理 过 程 的 完整 追踪 。 如 果 病 人 存在 胸痛 症状 并 且 其 心电图 是 阳性 的 ， 确 定 病 人 患 有 
心脏 疾病 的 概率 。 

control bayes 

Rule: 1 

if ^ chest pain is true (LS 0.2 LN 0.01} 

then heart disease is true (prior 0.1) 

Rule: 2 

if chest pain is true 

and electrocardiogram is positive (LS 95 LN 5j 

then heart disease is true 


/*The SEEK directive sets up the goal of the rule set 
Seek heart disease 


.以 下 显示 了 使 用 确信 因子 来 评估 胸痛 不 适 的 一 系列 规则 。 如 果 病 人 存在 胸痛 症状 并 且 其 心 电 


图 是 阳性 的 ， 确 定 病人 患 有 心脏 疾病 的 确定 性 。 提 供 一 个 推理 过 程 的 完整 追踪 。 
Control cf 

Rule: 1 

if — chest pain is true 

then heart disease is true (cf 0.1} 
Rule: 2 

if — electrocardiogram is positive 
then heart, disease is true (cf 0.7) 
Rule: 3 

if — electrocardiogram is negative 
then heart disease is true {cf 0.05} 


AThe SEEK directive sets up the goal of the rule set 
seek heart, disease 


10. 为 什么 模糊 系统 尤其 适合 对 人 类 决策 进行 建 模 ? 为 什么 模糊 技术 在 商务 和 金融 等 领域 具有 广 


Bd ER? 
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11. 


开发 一 个 用 于 直接 营销 的 模糊 系统 。 假 设 目标 群体 定义 为 “处 于 主要 工作 年 龄 并 且 收 入 高 
于 平均 水 平 的 父亲 ”。“ 主 要 工作 年 龄 ”定义 为 40 ~55 岁 之 间 ， 平 均 收 入 为 45000 美元 。 
确保 你 的 模糊 系统 具有 将 处 于 年 近 四 十 ,至 少 有 两 个 小 孩 的 高 收入 男性 作为 目标 群体 的 
能 力 。 


. 开发 一 个 用 于 检测 家 庭 保险 欺诈 索赔 的 模糊 专家 系统 。 假 设 有 以 下 7 个 输入 变量 : 申请 人 在 


过 去 12 个 月 内 提交 的 索赔 数 、 目 前 的 索赔 数额 、 申 请 人 投保 当前 保险 公司 的 时 间 长 度 、 过 
去 12 个 月 内 所 有 账户 的 平均 余额 、 过 去 12 个 月 内 超出 平均 余额 的 索赔 数 、 申 请 人 的 年 收 
入 、 过 去 4 个 月 内 申请 人 的 生活 是 否 发 生根 本 性 改变 (例如 ， 申 请 人 结婚 或 者 离婚 、 失 去 工 
作 或 者 成 为 一 位 父亲 ) 。 假 设 模糊 系统 的 输出 为 欺诈 的 可 能 性 (0 ~1 之 间 的 一 个 数 ，0 表示 
保险 理赔 无 欺诈 ，1 表示 保险 理赔 为 欺诈 的 可 能 性 非常 高 ) 。 

使 用 分 层 模糊 建 模 方 法 。 首 先 ， 评 估 历 史 保 险 〈 使 用 前 3 个 输入 变量 ) ,银行 历史 (使 用 第 


4 和 第 5 个 输入 变量 ) 和 索赔 状态 〈 使 用 最 后 2 个 输入 变量 ) 。 然 后 ， 使 用 历史 保险 ， 银 行 历史 
和 索赔 状态 作为 输入 ， 评 估 欺 诈 的 可 能 性 。 


13. 


14. 


15. 


神经 网 络 流行 的 根本 原因 是 什么 ? 神经 网 络 在 哪些 领域 应 用 最 为 成 功 ? 解释 其 原因 并 举例 
说 明 。 

在 神经 网 络 模型 中 ， 使 用 数据 之 前 为 什么 要 对 其 进行 归 一 化 ? 如何 对 数据 进行 归 一 化 ?分 别 
举 出 对 连续 型 数据 和 离散 型 数据 进行 归 一 化 的 例子 。 什 么 是 IZN 编码 ? 

开发 一 个 用 于 将 锯 缘 青 租 分 类 为 雄性 和 上 峻 性 的 反 向 传播 神经 网 络 。 使 用 以 下 5 个 测量 值 ( 单 
位 为 毫米 ): 额 叶 的 大 小 ， 后 排 宽度 ， 头 胸 甲 长 度 ， 头 胸 甲 宽度 和 体 深 度 。 数 据 集 有 100 个 
样本 ,包括 50 个 雄性 样本 和 50 个 上 肉 性 样本 。 数 据 集 可 以 在 本 书 的 网 站 中 找到 ;http:// 


www. booksites. net/ negnevitsky 。 


. 根据 从 乳房 肿块 的 细 针 穿刺 (FNA) 数字 图 像 中 得 到 的 一 些 特征 ， 开 发 一 个 用 于 乳腺 癌 诊 断 


的 反 向 传播 神经 网 络 。 数 据 集 包含 150 个 病例 。 每 个 病例 被 诊断 为 恶性 或 良性 ， 基 于 以 下 10 
个 实 值 特 征 : PE. SH. AK, RR, PRE. EXE. ME, MA, READ BSA 
数 。 数 据 集 位 于 本 书 网 站 : http://www. booksites. net/negnevitsky。 解 释 你 所 开发 的 诊断 神经 
网 络 的 困难 和 局 限 。 


. 开发 一 个 具有 蜡 质 结 构 的 神经 - 模糊 系统 ， 用 于 解决 习题 16 中 描述 的 问题 。 注 意 ， 你 首先 


需要 对 问题 进行 重新 定义 ， 以 使 系统 的 输出 为 乳腺 瘤 的 估计 风险 。 


. 使 用 一 个 自 组织 神 经 网 络 来 对 污水 处 理 厂 数据 做 聚 类 分 析 。 数 据 集 包 含 527 个 样本 。 每 个 样 


本 有 38 个 属性 。 数 据 集 位 于 UCT 机 器 学 习 库 网 站 : 


http :// archive. ics. uci. edu/ml/datasets/ Water + Treatment + Plant 


.开发 一 个 遗传 算法 用 于 城市 中 急救 中 心 的 部 位 ， 使 得 城市 中 的 医疗 急救 的 响应 时 间 最 小 化 。 


城市 被 映射 到 一 个 7km x7km 的 网 格 ， 如 图 9.47 所 示 。 网 格 中 每 一 个 小 格 上 的 数字 代表 该 
小 格 区 域内 的 年 平均 急救 次 数 。 
适应 函数 可 以 定义 为 急救 率 加 权 距 离 之 和 的 倒数 : 
f(x,y) = dA. Jo, x.) + On Fem)? 
HF, A, 表示 小 格 n 内 的 急救 率 ，(x,，y,) Ran 中心 点 的 坐标 ，(x,,，Y。,) 表示 急 





救 中心 的 坐标 。 假 设 急救 中 心 只 能 位 于 小 格 的 中 心 点 处 。 
20. 在 习题 19 找 述 的 问题 中 ,假设 在 x =5 km 处 有 一 条 小 河 将 城市 分 成 了 东西 两 部 分 。 东 西 两 部 


分 在 x=5km, y=5.5km 处 有 一 座 桥 相 连接 。 如 图 9. 48 所 示 。 开 发 一 个 遗传 算法 解决 这 个 问 


题 ， 找 出 急救 中 心 的 最 佳 位 置 并 与 习题 19 中 得 到 的 位 置 进行 对 比 。 





图 9. 47 


参考 文献 


第 9 章 知识 工程 :239 





一 个 7km x7km 的 城市 网 格 图 9. 48 被 一 条 小 河 划 分 的 7km x 7 km 的 城市 网 格 


Abrams, B.A. and Huang, C.J. (1987). Predicting bank failures: the role of structure in 
affecting recent failure experiences in the USA, Applied Economics, 19, 1291-1302. 

Alam, P., Booth, D., Lee, K. and Thordarson, T. (2000). The use of fuzzy clustering 
algorithm and self-organizing neural networks for identifying potentially failing 
banks: an experimental study, Expert Systems with Applications, 18(3), 185—199. 

Applegate, D., Bixby, R., Chvátal, V. and Cook, W. (2001). TSP cuts which do not 
conform to the template paradigm, Computational Combinatorial Optimization, 
M. Junger and D. Naddef, eds, Springer-Verlag, Berlin, pp. 261-304. 

Berry, M. and Linoff, G. (2004). Data Mining Techniques for Marketing, Sales, and 
Customer Relationship Management, 2nd edn. John Wiley, New York. 

Booth, D.E., Alam, P., Ahkam, S.N. and Osyk, B. (1989). A robust multivariate 
procedure for the identification of problem savings and loan institutions, Decision 
Sciences, 20, 320-333. 

Dantzig, G., Fulkerson, R. and Johnson, S. (1954). Solution of a large-scale traveling 
salesman problem, Operations Research, 2, 393-410. 

Davis, L. (1985). Applying adaptive algorithms to epistatic domains, Proceedings of the 
9th International Joint Conference on Artificial Intelligence, A. Joshi, ed., Morgan 
Kaufmann, Los Angeles, pp. 162-164. 

Davis, R. and King, J. (1977). An overview of production systems, Machine Intelligence, 
8, 300-322. 

Durkin, J. (1994). Expert Systems: Design and Development. Prentice Hall, Englewood 
Cliffs, NJ. 

Eichengreen, B. (2002). Financial Crises and What to Do About Them, Oxford University 
Press, Oxford. 

Espahbodi, P. (1991). Identification of problem banks and binary choice models, 
Journal of Banking and Finance, 15(1), 53-71. 

Firebaugh, M. (1988). Artificial Intelligence: A Knowledge-Based Approach. Boyd & Fraser, 
Boston, MA. 

Fisher, R.A. (1950). Contributions to Mathematical Statistics. John Wiley, New York. 

Flood, M.M. (1955). The traveling salesman problem, Operations Research, 4, 61—75. 

Goldberg, D.E. (1989). Genetic Algorithms in Search Optimization and Machine Learning. 
Addison-Wesley, Reading, MA. 

Goldberg, D.E. and Lingle, R. (1985). Alleles, loci and the traveling salesman problem, 
Proceedings of the 1st International Conference on Genetic Algorithms, J.J. Grefenstette, 
ed., Lawrence Erlbaum Associates, Pittsburgh, PA, pp. 154-159. 

Giilllich, H.-P. (1996). Fuzzy logic decision support system for credit risk evaluation, 
EUFIT Fourth European Congress on Intelligent Techniques and Soft Computing, 
Aachen, pp. 2219-2223. 

Haupt, R.L. and Haupt, S.E. (2004). Practical Genetic Algorithms, 2nd edn. John Wiley, 
New York. 

Haykin, S. (2008). Neural Networks and Learning Machines, 3rd edn. Prentice Hall, 
Englewood Cliffs, NJ. 

Hopfield, J.J. and Tank, D.W. (1985). Neural computation of decisions in optimiza- 
tion problems, Biological Cybernetics, 52, 141-152. 





362 


240 - $98 知识 工程 


Kurgan, L.A., Cios, KJ., Tadeusiewicz, R., Ogiela, M. and Goodenday, L. (2001). 
Knowledge discovery approach to automated cardiac SPECT diagnosis, Artificial 
Intelligence in Medicine, 23(2), 149-169. 

Laarhoven, P.J.M. and Aarts, E.H.L. (2009). Simulated Annealing: Theory and Applica- 
tions. Springer Netherlands, Dordrecht. 

Lawler, E.L., Lenstra, J.K., Rinnooy Kan, A.H.G. and Shmoys, D.B. (1985). The 
Traveling Salesman Problem: A Guided Tour of Combinatorial Optimization. John 
Wiley, Chichester. 

LeCun, Y., Boser, B., Denker, J.S., Henderson, D., Howard, R.E., Hubbard, W. and 
Jackel, L.D. (1990). Handwritten digit recognition with a back-propagation 
network, Advances in Neural Information Processing Systems, D.S. Touretzky, ed., 
Morgan Kaufmann, San Mateo, CA, vol. 2, pp. 396-404. 

Martin, O., Otto, S.W. and Felten, E.W. (1991). Large-step Markov chains for the 
traveling salesman problem, Complex Systems, 5(3), 299-326. 

Michalewicz, Z. (1996). Genetic Algorithms + Data Structures = Evolutionary Programs, 
3rd edn. Springer-Verlag, New York. 

Michie, D. (1982). The state of the art in machine learning, Introductory Readings in 
Expert Systems, Gordon and Breach, New York, pp. 209-229. 

Ozkan-Gunay, E.N. and Ozkan, M. (2007). Prediction of bank failures in emerging 
financial markets: an ANN approach, Journal of Risk Finance, 8(5), 465-480. 

Potvin, J.V. (1996). Genetic algorithms for the traveling salesman problem, Annals of 
Operations Research, 63, 339-370. 

Principe, J.C., Euliano, N.R. and Lefebvre, W.C. (2000). Neural and Adaptive Systems: 
Fundamentals Through Simulations. John Wiley, New York. 

Richards, R. (2002). Application of multiple artificial intelligence techniques for an 
aircraft carrier landing decision support tool, Proceedings of the IEEE International 
Conference on Fuzzy Systems, FUZZ-IEEE'02, Honolulu, Hawaii. 

Russell, S.J. and Norvig, P. (2009). Artificial Intelligence: A Modern Approach, 3rd edn. 
Prentice Hall, Upper Saddle River, NJ. 

Simon, R. (1987). The morning after, Forbes, October 19, pp. 164-168. 

Tryon, R.C. (1939). Cluster Analysis, McGraw-Hill, New York. 

Tschoke, S., Lubling, R. and Monien, B. (1995). Solving the traveling salesman 
problem with a distributed branch-and-bound algorithm on a 1024 processor 
network, Proceedings of the 9th IEEE International Parallel Processing Symposium, 
Santa Barbara, CA, pp. 182-189. 

Von Altrock, C. (1997). Fuzzy Logic and NeuroFuzzy Applications in Business and Finance. 
Prentice Hall, Upper Saddle River, NJ. ` 

Waterman, D.A. (1986). A Guide to Expert Systems. Addison-Wesley, Reading, MA. 

Widrow, B. and Stearns, S.D. (1985). Adaptive Signal Processing. Prentice Hall, 
Englewood Cliffs, NJ. 

Zhang, G., Hu, M.Y., Patuwo, B.E. and Indro, D.C. (1999). Artificial neural networks 
in bankruptcy prediction: general framework and cross-validation analysis, 
European Journal of Operation Research, 116, 16-32. 

Zurada, J.M. (2006). Introduction to Artificial Neural Systems, 2nd edn. Jaico, Mumbai. 


| 5510 Xx 





数据 挖掘 和 知识 发 现 


本 章 主要 介绍 大 型 数据 库 中 进行 知识 发 现 的 一 个 组 成 部 分 : 数据 挖 振 。 我 们 还 将 讨论 将 数 
据 转 化 为 知识 的 主要 技术 和 工具 。 


10.1 数据 挖掘 简介 

如 果 你 正 感觉 到 信息 泛滥 ， 那 么 你 就 对 了 ! 你 和 你 身边 的 每 个 人 都 处 于 泛滥 的 信息 海洋 中 。 
全 直 界 存储 在 硬盘 上 的 数据 量 每 年 都 在 翻 倍 。 现 如 今 ， 数 据 的 度量 单位 为 太 字 节 ， 拍 字 节 
(1000 太 字 节 ， 或 者 105 字 节 ) ， 甚 至 是 艾 字 节 (1000000 太 字 节 ， 或 者 10 字 节 ) 。 一 太 字 节 相 
当 于 两 百 万 本 书 。 整 个 美国 国会 图 书馆 的 一 千 九 百 万 本 书 只 有 大 约 10 太 字 节 的 信息 量 。 根 据 
IDC 和 白皮书 “与 经 济 合 同一 样 ， 数 字 字 宙 在 膨胀 ”的 说 法 ，2008 FRESH 〈 以 数字 形式 产生 ， 
获取 或 者 复制 的 信息 ) 大 小 为 487 艾 字 节 (Gantz and Reinsel, 2009) 。 到 2012 年 ， 数 字 信息 将 达 
到 2500 艾 字 节 。 如 果 将 数字 宇宙 转化 为 书籍 ， 所 有 书籍 的 厚度 将 可 以 来 回 冥 王 星 50 次 。 而 且 ， 
这 些 产 生 的 书籍 每 年 都 在 翻 倍 。 目 前 的 增长 速度 相当 于 火箭 速度 的 20 倍 。 字 宙 神 5 号 火箭 花费 
13 个 月 才 到 达 和 冥王 星 ， 但 是 这 些 新 产生 的 信息 书籍 只 需要 三 周 的 时 间 。 

我 们 确实 生活 在 一 个 信息 迅速 膨胀 的 宇宙 ， 然 而 从 海量 的 数据 中 提取 我 们 所 需要 的 信息 仍 
然 存 在 很 多 困难 。 美 国 宇航 局 拥有 远 超过 他 们 分 析 能 力 的 数据 量 。 人 类 基因 组 项 目的 研究 人 员 
需要 为 30 亿 个 DNA 库 中 的 每 一 个 DNA 存储 和 处 理 上 千 字 节 数 据 来 组 成 人 类 的 基因 。 每 天 数 艾 
字 节 的 数据 在 互联 网 中 流通 ， 我 们 需要 能 够 帮助 我 们 从 中 提取 有 意义 的 信息 和 知识 的 方法 。 

现在 社会 也 是 基于 信息 的 。 到 目前 为 止 ， 大 部 分 存储 在 计算 机 中 的 信息 都 是 以 事实 、 观 测 和 
测量 等 原始 形式 存在 。 这 些 事实 、 观 测 和 测量 构成 了 数据 。 数 据 是 我 们 所 收集 和 存储 的 。 随 着 计 
算 能 力 代价 的 持续 下 降 ， 新 增 的 数据 量 正在 指数 级 增长 。 我 们 的 问题 是 ， 面 对 所 有 这 些 有 价值 的 
资源 ， 我 们 能 做 些 什么 。 我 们 最 终 需 要 的 是 知识 。 知 识 能 帮助 我 们 做 出 明智 的 决策 。 

传统 的 数据 库 能 够 帮助 我 们 方便 地 存储 和 访问 数据 ， 但 是 它 并 不 能 很 好 地 对 数据 进行 有 意 
义 的 分 析 。 对 数据 进行 有 意义 的 分 析 ， 这 是 数据 挖 气 〈data mining) ， 又 称 为 数据 库 知 识 发 现 
(Knowledge Discovery in Database, KDD) 。 

“数据 挖掘 ”这 个 词 通常 和 从 数据 中 提取 知识 有 关 。 数 据 挖掘 也 可 以 定义 为 对 大 规模 数据 的 
探究 和 分 析 以 发 现 有 意义 的 模式 和 规则 (Berry and Linoff, 2004) 。 数 据 挖掘 的 终极 目标 是 发 现 
知识 。 

数据 挖掘 可 以 看 成 是 计算 机 数据 库 的 自然 演化 。 传 统 的 数据 库 管 理工 具 帮 助 用 户 从 数据 库 
中 提取 特定 数据 ， 数 据 挖 气 则 协助 用 户 从 存储 在 数据 库 中 的 数据 中 发 现 隐 含 的 模式 (相互 关系 、 
Be, FEARS) 以 及 对 新 数据 进行 预测 。 传 统 的 工具 往往 期 望 用 户 拥有 一 些 关 于 数据 库 中 
存在 的 关系 的 假设 。 这 些 假设 会 通过 一 系列 数据 查询 来 证 明 或 者 反驳 。 让 我 们 来 看 一 个 例子 ， 假 
设 我 们 已 经 获取 了 一 些 研 究 高 血压 的 数据 。 这 种 数据 中 通常 包含 每 个 人 的 年 龄 、 性 别 、 体 重 和 身 
高 、 体 育 活 动 、 是 否 吸 烟 和 饮酒 习惯 等 。 通 过 查询 工具 ， 用 户 可 以 选择 一 个 可 以 影响 最 终 输 出 变 
量 〈 在 我 们 的 例子 中 是 高 血压 ) 的 特定 变量 ， 例 如 是 否 吸 烟 。 这 里 用 户 的 目的 是 比较 吸烟 和 不 
吸烟 的 高 血压 患者 的 数量 。 然 而 ， 在 选择 是 否 吸烟 这 个 变量 的 同时 ， 用 户 已 经 做 出 了 一 个 假设 : 
高 血压 和 是 否 吸 烟 有 紧密 的 相互 关系 。 
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如 果 选 择 一 个 数据 挖掘 工具 ， 用 户 不 再 需要 假设 数据 集中 不 同 变量 的 相关 性 〈 也 不 需要 一 
次 只 研究 一 个 关系 ) ， 就 可 以 决定 影响 输出 变量 的 最 重要 的 因子 。 所 以 ， 我 们 现在 可 以 自动 识别 
最 显著 的 风险 因子 ， 而 不 是 假设 高 血压 和 是 否 吸 烟 有 相关 性 。 同 时 ， 我 们 也 可 以 比较 不 同 的 组 
(RAPHE) 的 高 血压 人 群 。 数 据 挖掘 不 需要 任何 假设 , . 它 能 自动 发 现 隐 含 的 关系 和 模式 。 

人 们 经 常 把 数据 挖 气 和 黄金 开采 进行 对 比 。 在 提取 出 黄金 之 前 ， 需 要 处 理 大 量 的 矿石 。 数 据 
挖掘 可 以 帮助 我 们 从 原始 的 数据 中 找到 “ 隐 含 的 黄金 ” 知识 。 

数据 挖掘 往往 以 原始 的 数据 为 开始 ， 以 提取 的 知识 为 结束 。 将 原始 的 知识 转化 为 知识 的 整 
个 过 程 如 图 10. 1 所 示 。 这 个 过 程 包括 了 5 个 数据 转换 的 步骤 。 








原始 数据 


图 10.1 数据 挖 据 和 知识 发 现 的 过 程 


第 一 个 步骤 是 数据 选择 。 数 据 选 择 发 生 在 与 分 析 相 关 的 数据 确定 以 及 多 个 数据 源 识别 之 后 。 
数据 选择 可 能 是 数据 挖掘 过 程 中 最 花费 时 间 的 一 个 步 又， 因为 我 们 需要 的 数据 会 以 文本 文件 、 
关系 表 和 电子 表格 等 多 种 格式 分 布 在 许多 的 数据 库 中 。 

第 二 个 步骤 是 包括 数据 融合 和 数据 清理 (也 称 为 数据 清洗 ) 。 在 这 个 步骤 中 ， 所 有 相关 的 数 
据 都 从 目标 数据 库 中 检索 出 来 并 集成 到 一 个 公共 源 中 。 和 元 余 和 不 一 致 的 数据 将 会 从 数据 集中 
删除 。 

第 三 个 步骤 是 数据 转换 ， 也 称 为 数据 整合 。 在 这 个 步骤 中 ， 清 洗 后 的 数据 将 会 被 转换 为 适合 
数据 挖 据 的 形式 。 

上 述 数据 挖掘 过 程 中 的 3 个 步 又 经 常 被 组 合 到 一 起 ， 统 称 为 预 处 理 。 预 处 理 的 目的 是 简单 地 
将 原始 数据 转换 为 适合 后 续 的 数据 挖掘 的 格式 。 

第 四 个 步骤 是 数据 挖掘 本 身 。 在 这 个 重要 的 阶段 中 ， 一 系列 不 同 的 数据 挖掘 技术 被 应 用 ， 以 
提取 对 用 户 可 能 有 用 的 信息 。 

第 五 个 步骤 是 结果 解释 。 在 这 个 步骤 中 ， 发 现 的 知识 将 会 表示 为 用 户 可 以 容易 理解 和 使 用 
的 形式 。 这 个 最 后 的 步 又 经 常 与 将 数据 挖掘 和 决策 支持 系统 集成 相关 联 。 
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如 何在 实践 中 应 用 数据 挖掘 

虽然 数据 挖掘 仍然 是 一 个 很 新 的 、 不 断 发 展 的 领域 ， 但 它 已 经 被 广泛 地 应 用 于 银行 、 金 融 、 
市 场 营销 和 电信 等 行业 。 如 今 有 很 多 公司 都 在 使 用 数据 挖掘 ， 只 不 过 拒绝 谈论 它 而 已 。 

从 数据 挖掘 获得 了 战略 性 益处 的 几 个 领域 是 直销 、 趋 势 分 析 和 欺诈 检测 (Abramowicz and 
Zurada, 2001; Witten and Frank, 2005) 。 在 直销 领域 ， 数 据 挖掘 被 用 来 确定 最 有 可 能 购买 某 些 产 
品 和 服务 的 人 。 在 趋势 分 析 中 ， 数 据 挖掘 被 用 来 确定 市 场 趋势 ， 例 如 通过 对 证 券 市 场 建 模 。 在 其 
诈 检 测 中 ， 数 据 挖掘 被 用 来 识别 保险 理赔 、 移 动 电话 和 信用 卡 交易 中 可 能 的 区 放行 为 。 

在 大 多 数 应 用 中 ,数据 挖掘 被 用 来 发 现 和 描述 数据 中 的 结构 化 的 模式 以 做 出 正确 的 预测 。 
数据 挖掘 的 一 个 经 典 应 用 是 小 额 商业 贷款 中 的 信用 分 析 。 银 行 保存 当前 和 历史 的 贷款 记录 。 除 
了 保存 是 否 按时 偿还 等 贷款 的 详细 信息 之 外 ， 银 行 还 会 保存 一 些 附 加 信息 ， 包 括 当前 利率 、 商 业 
未 偿还 债务 和 贷款 者 的 信用 历史 ， 等 等 。 为 了 减少 不 良 贷款 的 风险 ， 银 行 管 理 者 可 能 希望 挖掘 银 
行 的 记录 来 发 现 一 些 有 意义 的 模式 。 换 名 话说， 银行 管理 者 希望 学 习 到 一 些 可 用 于 新 的 贷款 申 
请 考核 的 决策 标准 。 此 处 的 目标 是 建立 一 些 能 够 区 分 良好 贷款 和 不 良 贷款 的 模式 。 数 据 挖掘 可 
以 自动 发 现 这 些 模 式 ， 因 此 可 以 用 来 对 新 的 贷款 申请 作出 更 准确 的 风险 评估 。 

fre d Sio RR 

数据 挖掘 是 一 个 实践 话题 ， 因 此 自然 会 运用 可 以 帮助 我 们 从 可 用 数据 中 提取 更 多 知识 的 技 
术 。 实 际 上 ， 数 据 挖 气 经 常 被 视 为 “什么 都 包括 ”的 东西 一 一 它 使 用 从 统计 方法 和 查询 工具 到 
复杂 的 机 器 学 习 等 技术 。 大 多 数 在 数据 挖掘 中 使 用 的 智能 技术 已 经 在 本 书 中 讨论 过 。 数 据 挖 气 
不 是 一 个 单一 的 方法 ， 而 是 不 同 工 具 和 技术 的 异 构 组 合 。 这 些 工具 和 技术 包括 : 

。 统计 方法 和 数据 可 视 化 工具 。 

。 查询 工具 。 

© 联机 分 析 处 理 (OLAP), 

。 决策 树 和 关联 规则 。 

。 神经 网 络 和 神经 - 模糊 系统 。 

数据 挖掘 的 成 功 依赖 于 数据 挖 所 工具 的 选择 。 对 数据 的 初步 调查 可 以 帮助 我 们 理解 数据 的 
特定 特征 ， 从 而 选择 合适 的 数据 分 析 技 术 。 这 个 初步 的 过 程 称 为 数据 探索 (data exploration) 。 数 
据 探索 包括 汇总 统计 、 可 视 化 、 主 成 分 分 析 、 查 询 工具 和 OLAP (Witten and Frank, 2005; Tan et 
al. , 2006) 。 


10.2 统计 方法 和 数据 可 视 化 


可 视 化 是 一 种 在 数据 集中 进行 模式 发 现 的 非常 有 用 的 数据 探索 技术 。 数 据 可 视 化 〈data visu- 
alisation) 可 以 定义 为 一 种 以 图 形 或 表格 形式 表示 信息 的 方法 〈Tan et al. , 2006) 。 信 息 被 可 视 化 
以 后 ， 我 们 就 可 以 解释 和 理解 它 了 。 在 日 常生 活 中 ， 我 们 经 常 使 用 图 形 、 直 方 图 和 图 表 来 表示 选 
举 结果 或 证 券 市 场 的 变化 。 人 们 可 以 很 快 很 容易 地 吸收 可 视 化 的 信息 ， 因 为 经 过 几 百 万 年 的 进 
化 ， 人 脑 已 经 拥有 很 强 的 模式 处 理 能 力 。 可 视 化 在 数据 探索 的 初始 阶段 是 极为 重要 的 。 

可 视 化 是 一 种 数据 驱动 的 数据 挖掘 技术 。 数 据 可 视 化 的 目的 是 揭露 隐 含 在 数据 中 的 模式 、 
关系 和 趋势 。 在 数据 中 发 现 的 模式 ， 最 后 产生 一 个 假设 。 

什么 软件 包 可 用 作 数 据 的 信息 可 视 化 

有 一 些 在 个 人 计算 机 和 大 型 机 中 都 可 用 的 可 视 化 软件 包 ， 其 中 最 流行 的 有 统计 分 析 系 统 
(SAS), Statgraphics, Minitab 和 MATLAB 统计 工具 包 。 这 些 软件 包 拥有 广泛 的 基本 应 用 和 高 级 的 
统计 分 析 及 可 视 化 功能 。 

许多 图 形 化 的 数据 探索 技术 依赖 于 汇总 统计 。 汇 总 统计 可 以 定义 为 表示 数据 不 同 特征 的 一 
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组 值 ， 例 如 均值 、 中 位 数 、 众 数 、 范 围 和 标准 差 (Montgomery et al. ，2001)。 需 要 注意 的 是 , E 
然 汇 总 统计 提供 了 关于 数据 的 一 些 有 用 的 信息 ， 他 们 的 局 限 性 也 需要 很 好 地 理解 。 一 个 经 典 的 
例子 是 平均 收入 。 一 个 人 群 的 平均 收入 往往 会 被 误 认 为 表示 了 这 个 人 群 中 大 部 分 人 的 收入 。 实 
际 上 ,平均 收入 要 远 远 高 于 大 部 分 人 的 收入 ， 因 为 存在 一 些 高 收入 人 员 ， 如 比尔 ， 盖 茨 。 为 了 发 
现 这 些 离 群 值 ， 我 们 需要 借助 于 数据 可 视 化 技术 。 

图 形 化 的 数据 表示 方法 包括 点 图 、 茎 叶 图 、 直 方 图 和 箱 形 图 ( Hand et al. ,2001) 。 然 而 在 统 
计 分 析 中 最 常用 的 可 视 化 技术 是 散布 图 。 散 布 图 是 一 个 用 于 表示 两 个 变量 之 间 相 关 度 的 二 维 图 
形 。 数 据 用 点 的 集合 来 表示 。 每 一 个 点 的 横 轴 位 置 由 一 个 变量 决定 ， 纵 轴 位 置 由 另外 一 个 变量 决 
定 〈Utts, 2004) 。 举 个 例子 ， 为 了 显示 人 的 身高 (第 一 个 变量 ) 和 体重 〈 第 二 个 变量 ) 之 间 的 
关系 ,我 们 首先 选择 一 组 人 员 〈 样 本 集 ) ， 测 量 其 身高 和 体重 ， 然 后 将 每 个 人 的 数据 绘制 在 一 个 
以 “身高 ”为 * 轴 和 以 “体重 ”为 y 轴 的 二 维 坐 标 系统 中 。 

散布 图 可 以 表示 不 同类 型 的 相关 性 。 如 果 点 是 左 低 右 高 散布 ， 则 称 为 有 一 个 正 相 关 性 ; WR 
点 是 左 高 右 低 散 步 ， 则 称 为 有 一 个 负 相 关 性 。 我 们 可 以 绘制 一 条 最 佳 拟 合 的 直线 来 表示 这 种 相 
关 性 。 获 布 图 也 可 以 展示 待 研究 的 两 个 变量 之 间 没 有 相关 性 (或 称 为 空 相关 性 )。 图 10. 2 展示 
了 散布 图 的 例子 。 








a) 正 相关 性 b) 负 相 关 性 c) 空 相关 性 
图 10.2 散布 图 


当 处 理 大 量 的 数据 点 时 ， 散 布 图 尤其 有 用 。 在 数据 的 最 初 观 察 阶段 ， 散 布 图 常常 可 以 帮助 我 
们 揭示 变量 之 间 的 复杂 关系 以 及 发 现 模 式 和 异常 点 。 

现在 让 我 们 更 深入 地 审查 一 下 图 10. 2a 和 图 10. 2b。 两 个 图 表 均 显示 大 部 分 的 数据 点 随机 散 
步 在 一 条 直线 的 两 旁 。 这 样 的 直线 可 以 表示 成 以 下 的 直线 方程 的 形式 : 

y=pBo +Bix (10. 1) 

Ht, 为 自 变量 (也 称 为 输入 变量 或 回归 元 ) ， 它 是 被 操作 的 变量 ; y 为 因 变 量 ( 又 称 为 输出 
变量 或 回归 子 ) 一 一 它 是 由 自 变量 操作 的 观测 结果 ; 8, HS, 经 过 一 个 称 为 回归 的 过 程 获得 ， 称 
为 回归 因子 。 

“回归 ”这 个 词 是 在 19 世纪 由 维多利亚 时 代 的 人 类 学 家 和 优生 学 家 Francis Galton H-ES|A. 
他 是 第 一 个 用 统计 方法 来 进行 人 类 种 群 差异 性 研究 的 学 者 。Galton 的 研究 表明 ， 高 大 的 祖先 的 后 
代 的 高 度 在 朝 着 整个 种 群 的 身高 平均 值 方向 减 小 (Galton, 1877) 。 随 后 他 的 工作 被 扩展 到 更 一 般 
的 统计 上 下 文中 。 

在 数据 挖掘 中 ， 回 归 可 以 被 定义 为 一 种 寻找 能 够 最 佳 拟 合 数据 的 数学 方程 的 统计 技术 。 回 
归 的 最 简单 形式 是 线性 回归 一 一 用 一 条 直线 来 拟 合 数据 。 因 此 ， 公 式 (10.1) RET HAE x 
来 预测 y 的 合适 的 Bu 和 pB,。 高 级 的 回 妇 模型 ， 例 如 多 元 回归 ， 可 以 使 用 多 个 输入 变量 并 日 允许 
非 线 性 方程 的 拟 合 ， 包 括 指数 函数 、log 函数 、 二 元 函数 和 高 斯 函数 (Seber and Wild, 1989)。 

公式 (10.1) 显示 了 因 变 量 y 是 自 变量 * 的 线性 函数 。 然 而 ， 从 图 10. 2a 和 10. 2b 可 以 看 
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Hi, y 的 值 并 不 是 精确 地 落 在 一 条 直线 上 。 公 式 (10.1) 仅仅 是 我 们 对 线性 函数 能 够 拟 合 数据 的 
一 个 假设 。 实 际 上 ， 因 变量 y 的 每 一 个 实际 值 由 公式 (10.1) 加 上 一 个 随机 误差 s 组 成 。 因 此 ， 
对 于 nn 对 观测 值 (Cr, yi), (Mas v. ee Gn Ya) At 
Yi =Po *Bix; te, i-1,2,..,n (10.2) 
其 中 , 8,77, 为 未 知 的 回归 因子 ，s; 是 一 个 均值 为 零 ， 方 差 为 o 的 随机 误差 。 
如 何 确定 回归 因子 
对 于 线性 回归 模型 ， 正 确 的 回归 因子 应 该 表示 了 能 够 “最 佳 ” 拟 合 数据 的 一 条 直线 。“ 最 佳 ” 


拟 合 的 评价 标准 基于 最 小 二 乘法 。 直 线 的 截 距 B, 和 斜率 B, 的 最 小 二 乘 估计 由 以 下 两 式 确定 : 
,2 [ (Zr) Gri/7] 











" 2 (10. 3) 
x4-((8)/7] 
和 
Bo=7 -Bx (10.4) 
其 中 ， 
; | s 
RA. 
因此 ， 拟 合 的 回归 直线 由 下 式 定义 : 
y=B, * Bx (10. 5) 
现在 ， 我 们 可 以 将 公式 (10.2) 写成 以 下 形式 : 
y, 7 By * Bx, tes 1=1,2,...,n (10. 6) 


其 中 ，e =y,- y, 称 为 残 差 (Tesidual) 。 残 差 表示 拟 合 模型 和 实际 数据 之 间 的 误差 ， 因 此 为 模型 
的 准确 性 提供 了 很 好 的 指示 。 

高 群 值 如 何 影响 线性 回归 模型 

离 群 值 ， 特 别 是 那些 离 大 部 分 数据 都 很 远 的 值 ， 可 以 很 显著 地 改变 回归 直线 的 位 置 (最 小 
二 乘 估计 被 扯 搜 向 离 群 值 ) 。 作 为 说 明 ， 我们 考虑 表 10.1 中 给 出 的 数据 (Daniel and Wood, 
1999) 。 表 中 显示 的 是 对 化 学 工厂 的 测量 值 ， 样 本 集中 包含 20 个 样本 。 自 变量 x 表示 用 滴定 法 测 
BHR, AB, 表示 用 提取 和 称 重 法 测量 的 有 机 酸 含量 。 此 处 我 们 的 目标 是 确定 用 相对 廉价 
的 滴定 法 获得 的 测量 值 多 大 程度 上 能 够 代替 用 相对 昂贵 的 提取 和 称 重 技术 获得 的 测量 值 。 

y =35. 4583 +0. 3216x 
R 10.1 化 学 工厂 的 数据 (Daniel 和 Wood, 1999) 
观测 值 ATE: MË 因 变 量 : 有 机 酸 含量 


123 76 
109 70 


eon QV tA hk WN 一 
uA 
- 
tA 
uA 
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(#) 
观测 值 自 变量 : 配 值 因 变 量 : 有 机 酸 含量 
9 16 41 
10 28 . 43 
11 138 82 
12 105 68 
13 159 88 
14 75 58 
15 88 64 
16 164 88 
17 169 89 
18 167 88 
19 149 84 
20 167 88 


图 10. 3a 中 的 散布 图 显示 滴定 法 测量 的 酸 值 和 提取 称 重 法 测量 的 有 机 酸 含量 之 间 有 很 强 的 统 


计 相 关 性 。 因 此 我 们 有 理由 假设 一 个 线性 模型 ， 计 算 最 小 二 乘 估计 值 p。 和 B, ， 然 后 将 得 到 的 值 
代入 公式 (10.5) 中 ， 得 到 以 下 的 回归 直线 : 


120 





100 
80 
dd 60 
= 4 
£m 20 
0 0 一 最 小 二 乘法 
一 稳健 回归 
-20 -20 





-40 -40 
20 40 60 80 100 120 140 160 180 20 40 60 80 100 120 140 160 180 
酸 值 酸 值 
a) 原始 数据 和 最 小 二 乘 回归 直线 b) 离 群 值 的 影响 


图 10.3 离 群 值 对 回归 直线 的 影响 


利用 该 回归 模型 ， 我 们 可 以 通过 酸 值 来 预测 有 机 酸 含量 。 例 如 ， 假 设 酸 值 * = 150， 则 有 机 

酸 含量 的 估计 值 为 : 
y =35. 4583 +0. 3216. 150 =83. 6983 

虽然 这 种 估计 容易 受 误差 影响 ， 但 是 最 小 二 乘法 确实 给 我 们 提供 了 一 个 合理 的 预测 模型。 

现在 假设 有 一 个 观察 值 被 错误 地 记录 ， 例 如 ， 第 17 行 的 y 值 被 写成 了 - 8 而 不 是 89。 由 
图 10. 3b 可 以 看 出 ， 这 个 错误 显著 地 影响 了 回归 直线 的 位 置 ， 现 在 最 小 二 乘 回 归 直 线 由 下 式 
定义 : 

y 244. 0528 +0. 1911x 

如 何 解决 高 群 值 问题 

离 群 值 往往 由 噪声 数据 造成 ， 因 此 统计 学 家 通常 希望 能 够 检查 数据 并 删除 检测 到 的 离 群 值 。 
在 简单 的 线性 回归 模型 中 ， 离 群 值 的 可 视 化 检测 是 有 可 能 的 。 
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虽然 离 群 值 显 著 影 响 着 回归 模型 ， 我 们 仍然 可 以 通过 一 个 重 棒 回 归来 减 小 他 们 的 影响 。 重 
棒 回 归 使 用 最 小 化 平方 均值 来 代替 最 小 化 二 乘法 中 的 最 小 化 平方 和 ( Rousseeuw and Leroy, 
2003) 。 最 小 平方 均值 法 得 到 的 回归 直线 如 图 10. 3b 所 示 。 拟 合 回归 模型 由 下 式 表示 : 

y 235. 3950 +0. 3226x 

可 见 此 处 得 到 的 回归 因子 的 值 与 从 原始 数据 集中 得 到 的 非常 接近 。 重 棒 回 归 已 经 被 证 明 能 够 明 
显 地 减 小 离 群 值 的 影响 。 

然而 ， 离 群 值 的 最 严重 的 问题 是 我 们 无 法 确定 一 个 离 群 值 到 底 是 一 个 错误 ， 还 是 仅仅 是 一 
个 不 常见 的 正确 值 。 如 果 简 单 地 将 离 群 值 从 数据 集中 删除 ， 我 们 可 能 无 意 地 犯 下 “把 小 孩 与 洗 
澡 水 一 起 倒 掉 ” 的 错误 。 在 统计 回归 中 ， 虽 然 用 一 条 直线 来 拟 合 钟 形 曲线 型 的 数据 很 常见 ， 但 
是 大 多 数 问题 并 不 能 很 容易 地 可 视 化 。 一 个 常用 的 解决 方案 是 应 用 不 同 的 学 习 技术 来 过 滤 数 据 ， 
过 滤 出 来 的 异常 值 再 由 人 类 专家 来 校 验 。 

最 后 ， 需 要 注意 的 是 ， 虽 然 两 个 甚至 三 个 变量 之 间 的 关系 能 够 进行 可 视 化 ， 高 维 数据 的 图 形 
化 挖掘 仍然 是 一 个 挑战 。 一 种 处 理 多 维 数据 的 方法 是 降 维 。 

如 何在 不 丢失 重要 信息 的 情况 下 降低 数据 维度 

在 多 维 数据 中 ， 一 个 变量 与 另 一 个 变量 高 度 相 关 的 情况 是 很 常见 的 。 换 名 话说 ， 由 这 些 变量 
所 提供 的 信息 是 明显 有 宛 余 的 。 在 两 个 变量 * Ay 完全 相关 的 极端 情况 下 ， 其 中 的 一 个 变量 是 元 
余 的 。 因 为 如 果 已 知 x 的 值 ，y 的 值 能 够 很 容易 地 确定 。 将 大 量 相关 变量 转换 为 少量 不 相关 变量 
的 数学 过 程 称 为 主 成 分 分 析 (Principal Component Analysis, PCA), PCA 能 在 不 明显 丢失 信息 的 
情况 下 降低 数据 维度 。PCA 应 用 于 人 脸 识别 和 图 像 压 缩 领域 ， 它 也 是 数据 挖掘 领域 从 大 规模 多 
维 数据 集中 进行 模式 发 现时 所 使 用 的 一 种 常用 技术 。 


10.3 主 成 分 分 析 


PCA 是 统计 学 中 用 做 高 维 数据 的 信息 内 容 最 大 化 的 一 种 常用 方法 (Jolliffe, 2002) 。 它 最 早 是 由 
Karl Pearson 于 一 个 多 世纪 以 前 介绍 的 〈Pearson，1901) 。 在 数学 中 ，PCA 从 数据 空间 寻找 表示 最 大 
方差 的 严 个 正 交 向 量 ， 然 后 将 数据 从 原来 的 =” 维 空间 投影 到 一 个 严 维 子 空间 ， 其 中 m<m， 从 而 降 
低 数 据 维 度 。 换 句 话说， 大 量 的 相关 变量 转换 为 了 少量 称 为 主 成 分 的 不 相关 变量 。 在 数据 挖掘 
H, PCA 常常 被 用 作 一 种 数据 预 处 理 技 术 。 

作为 一 个 说 明 ， 我 们 考虑 图 10.4 所 示 的 二 维 (二 元 ) 数据 集 。 图 10. 4a PR TRAA X, 
纵 轴 为 Yl 时 的 数据 集 。 将 数据 投影 到 每 一 个 坐标 轴 ， 我 们 得 到 二 维 密度 图 。 图 10. 4b 显示 横 轴 
为 如， 纵 轴 为 六 下 的 同一 数据 集 ，X2 Y2 通过 应 用 PCA 得 到 。 将 数据 投影 到 X2 轴 之 后 ， 我 





b) 数据 投影 到 X2 轴 和 Y2 fh 
图 10.4 PCA 的 一 个 应 用 
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们 发 现 数据 集 是 双 峰 的 。 相 反 ， 将 数据 投影 到 Y2 轴 之 后 ， 数 据 集 的 双 峰 本 质 完 全 被 掩盖 。 群 集 
在 高 方差 方向 (XX2 轴 ) 比 低 方 差 方向 (这 轴 ) 更 好 区 分 。 将 数据 投影 到 高 方差 方向 后 ， 能 够 保 
留 大 部 分 的 信息 ， 因 而 可 以 降低 数据 维度 。 

在 上 述 例 子 中 ， 数 据 集 的 群集 结构 从 一 开始 就 是 明显 的 。 然 而 ， 在 高 维 数据 集中 ， 数 据 的 固 
有 本 质 往往 是 隐藏 的 ， 需 要 应 用 PCA 才能 揭示 这 些 固 有 本 质 。 

PCA 是 如 何 工作 的 

首先 ， 我 们 计算 数据 在 原始 坐标 下 的 协 方差 和 矩阵。 其次， 确定 协 方差 矩阵 的 特征 值 和 特征 向 
量 。 特 征 向 量 代表 了 转换 空 Pd 且 按照 相应 特征 值 的 大 小 排序 。 每 一 个 特征 值 显 示 了 相 
应 轴 的 方 祝 息 越 多 。 最 后 ， 我 们 将 原始 数据 投影 到 由 最 大 特征 
舍 对 应 的 特征 向 量 所 形成 的 转换 空间 中 。 

现在 我 们 演示 PCA 在 一 个 简单 例子 上 的 工作 流程 。 我 们 将 使 用 一 个 二 维 的 数据 集 并 显示 
PCA 在 每 一 个 步 又 中 的 工作 内 容 。 

步骤 1; 获得 数据 并 减 去 平均 值 。 

在 这 个 例子 中 ， 我 们 将 使 用 表 10.1 所 示 的 数据 集 。 在 PCA 中 ， 我 们 需要 将 每 一 个 数据 维 上 
的 值 减 去 该 维 的 平均 值 。 我 们 的 例子 中 ，x = 103.05、7 268.60, 3€ 10. 2 显示 了 减 去 平均 值 后 规 
范 化 的 数据 集 。 





表 10.2 原始 数据 和 减 去 平均 值 后 的 数据 





x y x-x y-y 
123 76 19, 95 7.40 
109 70 5.95 1.40 

62 55 -41.05 —13. 60 
104 , 71 0.95 2. 40 

57 55 一 46. 05 - 13.60 

37 48 - 66. 05 - 20. 60 

44 50 —59. 05 -18. 60 
100 66 -3.05 -2.60 

16 41 -87.05 -21.60 

28 43 -75.05 —25. 60 
138 82 34.95 13. 40 
105 68 1.95 -0. 60 
159 88 55.95 19. 40 

75 58 -28.05 —10. 60 

88 64 —15.05 —4. 60 
164 88 60. 95 19. 40 
169 89 65. 95 20. 40 
167 88 63. 95 19. 40 
149 84 45. 95 15. 40 
167 88 63.95 19. 40 


步骤 2: 计算 协 方差 矩阵 。 

协 方差 用 于 度量 两 个 变量 之 间 的 线性 关系 。 与 方差 只 应 用 于 一 个 单独 的 变量 不 同 ， 协 方差 
需要 在 两 个 变量 间 测 量 。 例 如 ， 对 于 一 个 三 维 数据 集 ， 我们 可 以 测量 x* 和 y、x 和 z、y Az ZI 
的 协 方差 。 
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方差 和 协 方差 是 密切 相关 的 。 方 差 的 计算 公式 可 以 表示 为 : 
YG-2' XG-2(0-2 
var (x) = + 2d 


(10. 7) 





n n 


将 第 二 个 括号 的 内 容 替 换 成 (y, 73) 后 ， 我 们 得 到 了 协 方差 的 计算 公式 ; 


Y» 20-2 
cov (x,y) = 一 -一 一 (10. 8) 


n 


注意 ， 任 何 变量 与 它 本 身 的 协 方差 等 于 这 个 变量 的 方差 ， 
> (Dw -DD HORDI 


cov (x,x) = - 


=var (x) (10. 9) 





n n 
一 个 正 的 协 方差 表示 两 个 变量 正 相 关 ; 相反 ， 一 个 负 的 协 方差 表示 两 个 变量 负 相 关 。 协 方差 
为 零 ， 意 味 着 两 个 变量 相互 独立 ,或 者 不 相关 。 协 方差 的 绝对 值 能 够 度量 数据 元 余 度 。 
通常 将 给 定 多 维 数据 中 任意 两 个 维度 的 协 方差 表示 成 一 个 方 了 泗 ， 称 为 协 方差 算 阵 。 协 方差 
矩阵 相对 于 主 对 角 线 对 称 。 主 对 角 线 上 的 元 素 表示 各 变量 的 方差 ， 其 余 的 元 素 表示 变量 之 间 的 
协 方差 。 我 们 的 例子 中 数据 是 二 维 的 ， 所 以 协 方差 矩阵 是 一 个 2 x2 矩阵 : 
-[ (x, x) | cov (x, y) -| var (x) cov (x, y) 
cov (y, x) cov (y, y) cov (y, x) var (y) 
2580.7 830.0 
"i 830.0 268.4. 
非 对 角 元 素 都 是 正 数 ， 表 明 变 量 x My 有 相同 的 变化 趋势 。 
步骤 3: 计算 协 方差 矩阵 的 特征 值 和 特征 向 量 。 
特征 值 和 特征 向 量 是 方 阵 的 特征 。 假 设 4 为 一 个 正定 对 称 方 阵 ， 它 可 以 用 其 正 交 特 征 向 量 
进行 对 角 化 为 ;: 


A = EAE" (10. 10) 
其 中 ,，E 是 一 个 n xn EXE, T 表示 转 置 矩阵 ，4 是 由 nxn HEA CAA: 
A, 0 … 0 
A-| M mt (10. 11) 
0 0 A, 
对 应 的 特征 向 量 为 矩阵 五 的 列 ; 
E= [ee ve] (10. 12) 
由 公式 (10.10) 可 得 : 
AE - EA (10. 13) 
或 者 ， 等 价 于 : 
Ae, =A,€,, i=1,2,...,n (10. 14) 


其 中 ，e; 为 第 i 个 特征 值 A; 对 应 的 特征 向 量 。 
如 果 将 特征 值 按 降序 排序 ， 即 有 : 
A, >A, >... >A, >. >A, 
对 应 的 特征 向 量 代表 了 按照 重要 程度 排序 的 主 成 分 的 方向 。 因 此 向 量 e 代表 了 多 维 数 据 中 
具有 最 大 方差 的 轴 方 向 。 
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如 何 确 定 特征 值 | 

如 果 方 阵 4 很 小 (不 大 于 4 x4) ， 我 们 可 以 找到 其 行列 式 ， 并 将 其 行列 式 扩展 为 一 个 特征 多 
项 式 : 

det(A — AI) =0 (10. 15) 

通过 解 特 征 多 项 式 的 根 ， 我 们 可 以 确定 矩阵 4 的 特征 值 。 然 而 ， 当 多 项 式 的 阶 高 于 4 时 ， 不 
能 用 有 限 序 列 的 算术 操作 来 解 ， 因 此 通常 使 用 迭代 的 方法 来 解 《Wilkinson，1988 ) 。 

现在 我 们 来 计算 之 前 的 协 方差 矩阵 C 的 特征 值 (我 们 使 用 MATLAB 来 计算 ) 。 特 征 值 和 对 应 
的 特征 向 量 按照 降序 排列 : 


2847.7 —0.9519 0. 3063 


特征 值 =[ 。 1 3]; 特征 向 量 =| _0 3063 -09519 
因此 ， 
Loma -0.9519) | | 0. 3063 
-2847. - ASL? >, 65 
1 €, [ —Q. 3063 2 2 | 一 0. 9519 


图 10.5 显示 了 在 特征 向 量 e, He, 形成 的 坐标 系 下 规范 化 的 试点 工厂 数据 的 平面 图 。 从 图 中 
可 以 看 出 ， 其 中 的 一 个 特征 向 量 e, 代表 了 最 佳 拟 合 直线 ， 而 另 一 个 特征 向 量 e 代表 了 另 一 个 不 
太 重 要 的 模式 。 所 有 的 数据 点 都 处 于 稍微 偏离 最 佳 拟 合 直线 的 位 置 。 


有 机 酸 含量 (规范 化 ) 





100 -80 -60 -40 -20 0 20 40 60 80 
酸 值 (规范 化 ) 


图 10.5 在 特征 向 量 e, Me, 形成 的 坐标 系 下 规范 化 的 试点 工厂 数据 图 


协 方差 矩阵 的 特征 向 量 为 我 们 提供 了 转换 空间 的 坐标 系 。 现 在 我 们 需要 用 这 些 特 征 向 量 来 
表示 我 们 的 数据 。 

步骤 4: 选择 成 分 和 生成 新 的 数据 集 。 

一 旦 确定 了 一 组 特征 值 并 将 其 按 降序 排列 ， 我 们 可 以 忽略 那些 不 太 重 要 的 特征 值 ， 从 而 降 
低 了 原始 数据 集 的 维度 。 例 如 ， 如 果 原 始 数 据 集 是 n EN, 我们 取得 了 个 特征 值 ， 我 们 可 以 只 
保留 最 大 的 m 个 特征 值 。m 个 对 应 的 特征 向 量 (eigenvector) 形成 了 特征 向 量 (feature vector) 
矩阵 的 列 。 然 后 ， 我 们 将 原始 数据 投影 到 由 特征 向 量 形成 的 特征 空间 (feature space) ， 从 而 将 原 
始 的 n 维 数据 集 转换 成 了 m 维 数 据 集 。 为 了 将 原始 数据 集 投影 到 特征 空间 ， 我 们 只 需要 将 规范 
化 的 原始 数据 和 特征 向 量 相 乘 。 这 种 数据 转换 的 方法 称 为 子 空间 分 解 (Oja, 1983), 

如 果 我 们 比较 我 们 的 例子 中 获得 的 特征 值 ， 我 们 发 现 A, >A, BBO MME WEF, 
我 们 的 数据 集 也 就 变 成 了 一 维 的 。 

现在 我 们 来 比较 一 下 两 种 不 同 的 数据 转换 一 一 保留 所 有 的 特征 值 和 只 保留 一 个 最 大 的 特征 
值 。 前 一 种 情况 下 的 数据 平面 图 如 图 10. 6a 所 示 。 因 为 在 这 种 数据 转换 下 没有 信息 丢失 ， 所 以 平 
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面 图 显示 的 是 规范 化 的 原始 数据 集 在 旋转 坐标 系 e Me, 下 的 情况 。 实 际 上 ， 该 图 和 图 10.5 显示 [379] 
的 是 一 样 的 。 在 第 二 种 情况 下 ， 我 们 只 保留 一 个 最 大 的 特征 值 ， 获 得 的 平面 图 如 图 10. 6a 所 示 。 
可 以 看 出 ， 这 实际 上 是 一 个 一 维 平 面 图 ， 所 有 由 第 二 个 特征 向 量 产生 的 数据 方差 都 被 删除 了 。 
80 
60 
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图 10.6 规范 化 的 数据 投影 到 特征 空间 后 的 平面 图 
如 何 恢复 原始 数据 


我 们 需要 记 住 的 是 删除 了 不 太 重 要 的 主 成 分 之 后 ， 会 丢失 一 些 信息 。 因 此 ， 除 非 我 们 在 数据 
转换 的 时 候 保留 所 有 的 特征 向 量 ， 否 则 我 们 无 法 精确 恢复 原始 数据 。 

通常 情况 下 ， 原 始 的 m 维 数据 集 可 以 通过 以 下 方法 重建 : 首先 将 转换 后 的 m 维 数据 集 与 m 
维特 征 向 量 的 转 置 相 乘 ， 然 后 将 每 一 个 数据 值 加 上 该 维 数据 的 平均 值 。 图 10. 7a 显示 了 通过 完整 
的 特征 向 量 重建 的 数据 的 平面 图 。 和 我 们 期 望 的 一 致 ， 得 到 是 与 图 10.3a 一 样 的 平面 图 。 
图 10.7b 显示 的 是 降 维 后 的 对 特征 向 量 的 影响 。 可 以 看 到 ， 沿 着 主 特征 向 量 e, 的 方差 得 以 保留 ， 
而 特征 向 量 e, 方向 的 方差 则 消失 。 


有 机 酸 含量 (规范 化 ) 
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10.7 重 构 后 的 试点 工程 数据 平面 图 


案例 11， 降 维 

我 想 要 开发 一 个 不 需要 分 离 胆 固 醇 成 分 ,而 是 直接 通过 测量 血清 样本 的 光谱 内 容 来 确定 胆 
国 酵 水 平 的 智能 工具 。 现 在 我 有 一 组 波长 测量 方法 和 间接 用 脂 蛋 白 成 分 来 测量 胆 国 酵 的 方法 。 
用 什么 数据 挖掘 工具 来 解决 这 个 问题 呢 ? 


380 
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381 
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当前 的 胆固醇 测量 基于 离心 法 将 胆固醇 分 离 为 高 密度 脂 蛋 白 (HDL) 、 低 密度 脂 蛋 白 
(LDL) 和 极 低 密度 脂 和 蛋白 〈(VLDL) 。 各 种 成 分 中 的 胆固醇 浓度 使 用 分 析 法 来 计算 出 来 后 ， 总 胆 
固 醇 水 平 即 可 确定 。 不 幸 的 是 ， 离 心 法 非常 昂贵 而 且 耗 费时 间 。 

有 学 者 建议 ,我 们 可 以 采用 一 个 衍生 化 反应 来 直接 测量 胆固醇 水 平 〈( Purdie 等 ，1992 ) 。 该 
衍生 化 反应 会 产生 多 种 生成 物 的 混合 物 ， 这 些 生成 物 对 应 的 不 同 的 脂 蛋 白 成 分 有 不 同 的 颜色 。 
然后 利用 生成 的 混合 物 ， 采 用 吸收 分 光 技 术 来 分 析 HDL、LDL 和 VLDL 成 分 。 从 而 我 们 不 再 需要 
将 胆固醇 分 离 为 不 同 的 成 分 ， 从 而 避免 了 使 用 昂贵 的 离心 法 。 

在 本 案例 中 ， 我 们 测量 了 264 个 病人 的 21 种 光谱 波长 。 对 某 些 病 人 ， 我 们 还 可 使 用 标准 成 
分 分 离 法 获得 的 HDL, LDL 和 VLDL 间隔 测量 胆固醇 含量 。 在 给 定 了 21 种 波长 的 测量 值 以 后 ， 
我 们 可 以 训练 一 个 反 向 传播 神经 网 络 ， 使 用 HDL、LDL 和 VLDL 成 分 来 预测 胆固醇 水 平 。 

整个 数据 集 (264 例 ) 被 随机 地 划分 为 训练 集 (60% ) 、 验 证 集 (20%) 和 测试 集 (2090), 
验证 集 可 以 用 来 提前 停止 训练 一 -用 训练 集 来 训练 神经 网 络 ， 直 到 在 一 段 连续 的 迭代 内 ， 神 经 
网 络 在 验证 集 上 的 效果 不 再 提高 。 这 也 指示 泛 化 集合 达到 了 峰值， 训练 可 以 停止 ， 以 防止 过 拟 
合 。 测 试 数据 可 以 用 来 对 神经 网 络 的 效果 做 完全 独立 的 测试 。 

对 于 本 案例 ,我们 创建 了 一 个 三 层 神 经 网 络 。 在 隐 合 层 中 使 用 S 形 激活 函数 ， 在 输出 层 中 使 
用 一 个 线性 激活 函数 。 输 入 层 的 神经 元 数目 是 由 光谱 波长 的 数目 决定 的 ， 因 此 我 们 需要 21 个 输 
人 神经 元 。 我 们 需要 预测 3 个 值 (HDL, LDL 和 VLDL) ， 因 此 在 输出 层 中 需要 3 个 神经 元 。 一 系 
列 的 试验 表明 ， 隐 含 层 中 只 使 用 7 个 神经 元 时 可 以 达到 很 好 的 泛 化 。 图 10. 8 显示 了 学 习 曲 线 图 。 
从 图 中 我 们 可 以 看 出 ， 验 证 误差 在 第 5 步 和 迭代 时 达到 最 小 值 ， 且 在 给 定数 目的 后 续 和 迭代 中 不 再 增 
加 ， 因 此 训练 可 以 结束 。 学 习 曲 线 显 示 我 们 已 经 成 功 地 学 习 到 了 一 个 神经 网 络 ， 而 且 避 免 了 过 拟 
合 问题 。 


WARE 
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图 10.8 胆固醇 水 平 预测 问题 的 ANN 学 习 曲 线 


现在 我 们 使 用 测试 集 来 检验 学 习 到 的 神经 网 络 的 性 能 ， 并 对 预期 输出 和 神经 网 络 的 输出 作 
回归 分 析 。 图 10. 9 显示 了 回归 分 析 的 结果 。 

散布 图 上 的 r 值 是 Pearson 相关 系数 一 一 用 于 度量 两 个 变量 X (预期 输出 ) 和 了 (实际 输出 ) 
的 相关 性 的 系数 。Pearson 相关 系数 取 值 范围 为 +1 ( 正 相 关 ) 到 -1 ( 负 相 关 ) 。r 值 越 大 ， 两 个 
变量 之 间 的 相关 性 就 越 大 ， 我 们 也 就 可 以 更 准确 地 预测 HDL、LDL 和 VLDL 的 值 。 我 们 可 以 看 
到 ， 前 两 个 输出 (HDL 和 LDL) 与 预期 输出 十 分 接近 (r 值 超过 了 0.9) ， 第 三 个 输出 则 与 预期 
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r-0.8682 r—70.8392 r=0.3609 
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图 10.9 ANN 输出 相对 于 目标 值 的 散布 图 


输出 (VLDL) 不 是 很 符合 。 

当然 ， 我 们 可 以 继续 通过 修改 神经 网 络 的 结构 和 增加 训练 的 迭代 次 数 来 提高 ANN 的 正确 性 ， 
BERTEM, 无论 怎么 努力 VLDL 的 ~ 值 都 没有 明显 地 提高 。 

可 以 使 用 ANFIS 来 提高 胆固醇 水 平 预测 的 准确 性 吗 ? 

ANFIS 使 用 随机 混合 学 习 算法 ， 而 且 其 效果 已 经 被 证 实 比 传统 的 反 向 传播 技术 要 好 。 然 而 ， 
它 包括 了 大 量 需 要 在 训练 过 程 中 进行 最 优化 的 参数 。 使 用 MATLAB 来 调整 Sugeno 型 模糊 推理 系 
统 的 参数 时 ， 即 便 是 在 输入 相对 较 小 的 情况 下 ， 也 很 容易 发 生 内 存 溢 出 。 另 外 需要 记 住 的 是 ， 
ANFIS 只 有 在 训练 样本 数目 几 倍 于 需要 最 优化 的 参数 的 数目 时 才能 达到 很 好 的 泛 化 。 因 此 ， 在 使 
用 ANFIS 模型 预测 胆固醇 水 平 之 前 ， 我 们 需要 减 小 输入 量 。 这 个 任务 由 PCA 来 完成 。 

我 们 需要 对 输入 数据 进行 规范 化 ， 计 算 协 方差 矩阵 以 及 确定 特征 值 和 特征 向 量 。 表 10.3 包 
含 了 降序 排列 的 特征 值 〈 主 成 分 ) 。 我 们 只 显示 了 前 7 个 主 成 分 ， 因 为 其 余 的 主 成 分 都 是 微 不 足 
道 的 。 现 在 我 们 需要 确定 需要 保留 多 少 个 主 成 分 来 获得 输入 数据 的 大 部 分 方差 值 。 

表 10.3 主 成 分 描述 的 总 方差 
主 成 分 i 1 2 3 4 5 6 7 


特征 值 0. 225947 0. 010530 0. 000356 0. 000175 0. 000046 0. 000031 0. 000021 
BAEK (96) 95. 2883 4. 4406 0. 1500 0. 0737 0. 0193 0. 0131 0. 0088 


一 个 简单 的 方法 是 将 相对 重要 的 主 成 分 可 视 化 。 用 于 显示 每 一 个 主 成 分 所 描述 的 数据 总 方 
差 比 的 折线 图 称 为 陡坡 图 。 图 10. 10 显示 了 一 个 这 样 的 陡坡 图 。 可 以 看 出 ， 陡 坡 图 的 图 形 很 像 是 
山 的 一 侧 ， 其 中 “陡坡 ”是 指 山 脚下 积累 的 松散 岩石 斜坡 。 我 们 可 以 忽略 山脚 上 的 主 成 分 因为 
图 形 上 的 急剧 下 降 意味 着 后 续 的 主 成 分 对 整个 数据 的 总 方差 贡献 很 小 。 在 图 10. 10 中 ， 第 一 个 主 
成 分 占 所 有 21 个 变量 总 方差 的 95.29% ,第 二 个 主 成 分 占 4. 44% ， 第 三 个 主 成 分 占 0.15% ， 而 
其 余 的 18 个 主 成 分 只 占 到 总 方差 的 0. 12% 。 这 个 图 显示 出 只 有 前 两 个 主 成 分 代表 了 输入 数据 中 
的 有 意义 的 方差 一 一 他 们 占 了 99% 以 上 的 方差 值 。 因 此 ， 输 入 向 量 的 维度 可 以 从 21 维 降 到 2 维 。 

现在 ,我 们 将 原始 的 21 维 数据 集 转换 成 2 维 数据 集 ， 训 练 一 个 ANFIS 模型 ， 然 后 将 它 的 效 
FA ANN 的 效果 进行 对 比 。 因 为 输入 向 量 已 经 变 成 2 维 ，ANFIS 的 输入 层 只 需要 2 个 神经 元 。 
我 们 应 该 选择 最 少 的 隶属 函数 ， 因 此 我 们 用 一 个 钟 形 激活 函数 给 每 一 个 输入 变量 分 配 两 个 模糊 
神经 元 。 最 终 的 ANFIS 将 会 包含 4 条 模糊 规则 。 因 为 ANFIS 的 结构 只 允许 一 个 输出 ， 我 们 将 使 
用 3 个 独立 的 模型 ， 每 一 个 使 用 一 种 脂 蛋 白 成 分 来 预测 胆固醇 。 

我 们 的 ANFIS 模型 一 共有 24 个 参数 ， 包 括 12 个 输入 参数 (2 个 输入 ; 每 一 个 输入 有 2 个 钟 
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图 10. 10 21 维 光谱 数据 集 的 陡坡 图 


形 激活 函数 ， 每 一 个 激活 函数 有 3 个 参数 ) 和 12 个 输出 参数 (4 条 规则 ; 每 条 规则 用 3 个 参数 
来 描述 ) 。 

在 该 研究 中 ， 我 们 将 转换 后 的 数据 随机 分 为 两 部 分 : 训练 集 (80% ) 和 测试 集 (2090). 4 
一 个 ANFIS 模型 的 参数 数量 和 训练 样本 数量 的 比例 大 约 为 1 比 8， 因 此 保证 了 很 好 的 泛 化 。 

图 10. 11 显示 了 ANFIS 输出 相对 于 目标 输出 的 散布 图 。3 个 ANFIS 模型 都 使 用 相同 的 样本 数 
据 经 过 10 个 周期 迭代 训练 ， 并 且 使 用 相同 的 测试 集 测试 。 可 以 看 出 ,虽然 ANFIS 是 在 降 维 后 的 
二 维 数据 集 上 训练 的 ， 但 它 的 效果 仍然 比 ANN 要 好 。 
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图 10.11 ANFIS 输出 相对 于 目标 值 的 散布 图 


如 何 用 神经 网 络 实现 PCA? 
许多 特定 的 神经 网 络 和 学 习 算 法 被 用 来 实现 PCA。 举 个 例子 ， 我 们 可 以 使 用 一 个 两 层 前 馈线 
性 网 络 ， 其 中 输入 层 的 n 个 神经 元 表示 n 维 数据 空间 ， 输 x 
出 层 的 m 个 神经 元 提取 m 个 主 成 分 。 这 样 的 网 络 称 为 PCA 
网 络 ， 如 图 10. 12 所 示 。 
训练 一 个 PCA 神经 网 络 将 会 产生 一 个 与 最 大 的 特征 向 
Bw 相等 的 权重 向 量 e, ， 因 此 满足 以 下 条 件 : 
Ae, = A,€ (10. 16) 
其 中 ，4 是 输入 自 相 关 和 矩阵 。 
PCA 网 络 的 权重 使 用 Oja 规则 来 迭代 地 更 新 (Oja, 
1982) : 
w;(p+1) =w,(p)[1 -py (01 + óx, Gy, (2 Fm 
(10. 17) Æ 10.12 一 个 PCA 神经 网 络 
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其 中 ， 几 为 遗 生 因子 。 

当 PCA 网 络 收敛 到 最 大 的 特征 向 量 后 ， 输 出 向 量 被 从 输入 向 量 中 减 去 ， 训 练 重新 开始 。 这 
个 过 程 被 不 断 重复 直到 找 出 了 个 主 成 分 。 

在 数据 挖掘 领域 ， 常 常 将 PCA 当 作 一 种 数据 预 处 理 技 术 。 它 让 我 们 得 到 一 个 远 远 小 于 原始 
数据 集 的 新 数据 集 ， 同 时 产生 一 样 (或 者 几乎 一 样 ) 的 分 析 结 果 。 

PCA 等 统计 方法 往往 作为 数据 探索 的 第 一 步 ， 数据库 查询 和 OLAP 则 代表 了 一 些 为 了 处 理 现 
代 组 织 积累 的 大 量 数 据 而 特别 开发 的 复杂 工具 。 


10.4 关系 数据 库 和 数据 库 查 询 

很 多 组 织 会 收集 和 存储 大 量 的 数据 ， 他 们 需要 对 这 些 数据 进行 高 速 访 问 以 快速 应 对 市 场 的 
变化 。 

现代 组 织 如 何 维护 大 型 数据 库 

数据 库 的 维护 ， 既 能 使 用 人 工 的 方式 ， 也 能 使 用 计算 机 化 的 方式 。 例 如 我 们 可 以 人 工地 维护 
一 个 索引 地 址 敌 ， 记 录 朋 友 的 姓名 和 联系 方式 一 一 我 们 简单 地 添加 一 个 姓名 并 覆盖 已 存在 的 地 
址 和 电话 信息 ， 如 果 它 们 发 生 了 变更 。 当 然 我 们 可 以 使 用 个 人 信息 管理 工具 来 代替 上 述 “ 旧 技 
术 ” ,使 我 们 的 个 人 数据 库 计 算 机 化 。 

然而 ,我 们 需要 处 理 的 是 大 型 数据 库 ， 因 此 也 就 没有 了 其 他 的 选择 ， 我 们 需要 将 数据 库 计算 
机 化 ， 而 不 能 简单 地 由 人 工 维护 。 换 句 话 说， 我 们 需要 一 个 数据 库 管 理 系统 。 

什么 是 数据 库 管 理 系 统 

我 们 首先 回 到 数据 库 的 定义 上 。 数 据 库 是 存储 在 一 起 的 相关 数据 的 集合 。 这 个 定义 实际 上 
是 非常 宽泛 的 。 例 如 我 们 可 以 将 组 成 本 章 的 所 有 词 的 集合 看 做 一 个 数据 库 。 然 而 , “数据 库 ” 一 
词 通 常 与 以 下 隐 含 的 特性 有 关 (Elmasri and Navathe, 2010) : 

e 数据 库 代表 真实 世界 中 的 实际 事件 。 

。 数据 库 是 包含 特定 含义 的 数据 的 逻辑 集合 。 

。 数据 库 是 针对 特定 应 用 构建 的 ， 因 此 拥有 特定 的 用 户 群 体 。 

数据 库 必须 进行 组 织 和 管理 ， 以 使 用 户 能 够 更 新 数据 以 及 查询 和 检索 他 所 需要 的 数据 子 集 。 
帮助 用 户 创建 和 维护 数据 库 的 一 组 程序 称 为 数据 库 管 理 系统 (DBMS)。 数 据 库 管理 系统 使 得 创 
建 、 发 布 、 操 纵 以 及 在 不 同 的 用 户 和 应 用 之 间 共 享 数据 库 变 得 可 能 。 创 建 数据 库 包 括 定义 数据 库 
结构 和 描述 将 要 存储 的 数据 的 类 型 和 约束 。 发 布 数据 库 的 意思 是 将 数据 输入 数据 库 并 存储 在 某 
些 存储 媒介 中 。 操 纵 数据 库 通 常 包 括 更 新 数据 库 、 查 询 特 定数 据 和 产生 报表 等 功能 。 共 享 数据 库 
暗含 着 支持 多 个 用 户 对 数据 库 的 并 发 访问 。 

要 作出 明智 的 决策 ， 数 据 库 用 户 需要 能 够 对 大 量 的 数据 进行 快速 访问 。 在 组 织 中 ， 数 据 通常 
存储 为 数据 表 和 电子 表格 的 集合 。 关 系数 据 库 是 一 组 正式 描述 的 数据 表 的 集合 ， 这 些 数据 表 能 
够 在 不 重组 织 数 据 的 情况 下 进行 访问 和 重组 。 关 系数 据 库 模型 最 早 由 IBM 公司 的 Ted Codd 于 
1970 年 在 他 的 论文 “A relational model of data for large shared data banks”” 介 绍 (Codd, 1970)。 从 
20 世纪 80 年 代 早期 开始 ， 该 模型 在 许多 商业 的 数据 库 管 理 系统 实现 ， 例 如 Oracle 和 Rdb ( Ora- 
cle), IDS (IBM) 以 及 SQL Server 和 Access ( Microsoft) 。 

在 关系 数据 库 中 ， 每 一 个 表 (或 称 为 关系 ) 被 赋予 一 个 唯一 的 名 称 。 表 又 划分 为 行 和 列 。 
列 (RFR) 描述 了 表 的 属性 , 行 ( 称 为 元 组 ) 则 保存 这 些 属性 的 值 。 当 表 创 建 以 后 ， 用 户 需 
要 正式 描述 每 一 列 的 数据 类 型 。 典 型 的 数据 类 型 有 : 字符 型 (保存 一 串 字 母 、 数 字 、 等 长 或 定 长 
的 字符 ， 例 如 “DC086421”) 、 整 数 型 (保存 正 数 ， 例 如 14) 、 十 进 制 数 (保存 十 进 制 数 ， 例 如 
5. 65) 、 日 期 (保存 日 期 ， 例 如 “2010 - 10 -22") 和 时 间 ( 保 存 时 间 ， 例 如 “11: 52: 12”), 
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关系 数据 库 能 够 很 容易 地 创建 和 访问 ， 更 重要 的 是 ， 它 能 够 简单 地 进行 扩展 。 原 始 数据 库 创 
建 以 后 ， 我 们 可 以 在 不 修改 已 有 应 用 的 情况 下 添加 新 的 数据 属性 。 

下 面 我 们 来 看 一 个 例子 。 图 10. 13 显示 了 数据 库 Department, store 的 不 完整 关系 Item, Cus- 
tomer, Employee 和 Transaction, X ltem 中 的 列 包括 Item, ID, Category, Brand, Model, Descrip- 
tion, Price 和 Stock, Item, ID 属性 的 数据 类 型 为 echar(8) ， 保 存 长 度 为 8 KFA. Category 
属性 的 类 型 为 varchar(15) ， 保 存 最 大 长 度 为 15 的 变 长 字符 串 。Price 属性 的 类 型 为 decimal (6, 
2) ， 保 存 一 个 小 数 点 前 最 多 6 位 、 小 数 点 后 2 位 的 十 进 制 数 。Store 属性 的 类 型 为 mt(4) ， 保 存 
位 数 最 多 为 4 的 整数 。 类 似 地 ， 我 们 可 以 声明 其 他 数据 表 Customer, Employee 和 Transaction 中 所 
有 属性 的 数据 类 型 。 


[ mem | 


AE M HE TER 733 


DC086421 | Digital Camera| Canon | Rebel Xsi | 12.2 MP/18-55 mm 899.84 121 
DC086532 Digital Camera| Nikon D80 10.2 MP/18-135 mm | 1074.84 64 


[ Customer | 


016745 Smith,Alex 56 4851 NY 106 Ist Ave,New York 95000 
016749 ieee 19 1419 NY 7 Lake mene: 32000 


[ Employee | 


032E Jones,Mary 26 | Electronics Sales 37500 
O37 Brown, Mark 21 Hardware Sales 29500 


[Transaction | 



















045728 | DC086421 eu 22 | 115212 | 006745 032E 


图 10. 13 关系 数据 库 Department. store 的 不 完整 关系 


在 关系 数据 库 中 ， 数 据 表 之 间 相 互 “ 关 联 ”。 这 保证 了 数据 可 以 进行 跨 表 连 接 ， 而 不 需要 在 
每 一 个 表 中 重复 保存 。 在 我 们 的 例子 中 ，Transaction 表 包 括 Item_ID、Customer_ID 和 Employee. ID 
三 个 属性 ， 它 们 分 别 也 是 Item 表 、Customer AI Employee 表 的 属性 。 

然而 ， 仅 仅 描 述 关 系数 据 库 的 数据 结构 并 与 关系 和 数据 一 起 发 布 并 不 是 高 效 的 数据 管理 。 
为 了 将 来 进行 数据 分 析 ， 我 们 还 需要 能 够 从 数据 库 中 描述 、 访 问 和 检索 数据 。 

如 何 从 关系 数据 库 中 检索 数据 

关系 数据 库 中 的 数据 可 以 使 用 数据 库 查询 来 访问 。 数 据 库 查询 使 用 结构 化 查询 语言 (SQL) 
来 进行 。SQL 由 一 些 支 持 对 数据 进行 检索 、 插 入 、 更 新 和 删除 的 命令 语言 组 成 。SQL 是 ANSI 
(美国 国家 标准 学 会 ) 和 ISO (国际 标准 组 织 ) 访问 和 操作 数据 库 系统 的 标准 计算 机 语言 。 

SQL 的 第 一 个 版 本 称 为 SEQUEL， 它 是 由 IBM 公司 的 Donald Chamberlin 和 Raymond Boyce 于 
20 世纪 70 年 代 早 期 开发 的 (Chamberlin and Boyce, 1974)。SEQUEL 是 为 IBM 的 R 系统 开发 ，R 
是 第 一 个 原型 关系 数据 库 系 统 。 随 后 SQL 被 ANSI 标准 化 ， 自 此 它 成 为 大 部 分 商业 数据 库 管 理 系 
统 中 极为 重要 的 一 部 分 。 虽 然 现 在 存在 许多 版 本 的 SQL， 但 它们 都 支持 一 些 主 要 的 关键 字 (例如 
SELECT, FROM, WHERE, UPDATE, DELETE, INSERT, AND, OR fil NOT), 
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在 下 面 的 例子 中 ， 我 们 将 使 用 MySQL 数据 库 系 统 (Forta, 2005; DuBois, 2008) MySQL BE 
能 以 开源 产品 的 方式 (最 流行 的 开源 数据 库 系 统 ) 获取 ， 也 可 以 购买 一 个 标准 的 商业 许可 证 。 
MySQL 程序 以 服务 器 端 形式 运行 ， 提 供 多 用 户 对 多 个 数据 库 的 访问 。 

利用 SQL， 我 们 可 以 查询 关系 数据 库 和 检索 特定 的 数据 子 集 。 假 设 商 店 管理 员 想 要 检查 当前 
尼康 数码 相机 的 库存 量 。 如 图 10. 14 所 示 ， 商 店 管理 员 使 用 一 条 简单 的 查询 来 访问 数据 库 ， 就 可 
以 获得 他 所 需要 的 数据 子 集 。 在 这 个 查询 中 ， 出 现 了 两 个 关键 字 SELECT 和 FROM, 3cbs E, K 
部 分 的 基本 SQL 查询 类 似 于 下 列 查 询 : 


SELECT*FROM Item 
WHERE Category= ER Camera’ AND Brand= ‘Nikon’ 


DC086532 Digital Camera Nikon D80 10.2 MP/18-135 mm | 1074. M 
图 10. 14 一 个 单 表 上 的 SQL 查询 的 例子 

SELECT column_name FROM table name. 

这 个 查询 从 名 称 为 table_name 的 表 中 查询 名 称 为 column_name 的 列 的 内 容 。 注 意 ， 我 们 可 以 
使 用 多 个 列 名 ， 也 可 以 使 用 多 个 表 名 。 查 询 结果 保存 在 一 个 结果 表 〈 称 为 结果 集 ) 中 。 

在 图 10. 14 中 所 示 的 查询 中 ， 我 们 使 用 符号 * 而 不 是 列 名 来 选择 表 Item 的 所 有 列 。 然 而 ， 
商店 管理 员 只 需要 检索 尼康 数码 相机 的 库存 量 。 为 了 实现 这 个 目的 ， 需 要 在 SELECT 语句 中 添加 
一 个 WHERE 子 句 。 这 条 查询 的 返回 结果 是 Item 表 中 Category 属性 的 值 为 “Digital Camera” H. 
Brand 属性 的 值 为 “Nikon” 的 所 有 记录 的 列表 。 注 意 ， 选 择 条 件 在 WHERE 子 句 中 用 关键 字 
AND, OR 和 NOT 隔 开 。 在 这 个 例子 中 ， 关 系 查 询 作为 一 个 过 滤器 ， 使 用 户 可 以 通过 描述 一 些 约 
束 来 检索 所 选择 属性 的 数据 子 集 。 

在 大 多 数 情况 下 ， 我 们 需要 从 两 个 或 多 个 表 中 检索 数据 。 假 设 商 店 管理 员 想 要 查看 
VistaQuest 紧凑 型 数码 相机 最 近 的 促销 信息 。 这 些 信 息 可 以 从 Item 和 Transaction 两 个 表 中 获取 。 
从 图 10. 13 可 以 看 出 ， 这 两 个 表 有 一 个 公共 属性 Tem_ID ， 因 此 我 们 可 以 通过 匹配 Item. ID 列 来 从 
两 个 表 中 提取 数据 。 图 10. 15 显示 了 所 使 用 的 SQL 查询 和 得 到 的 结果 集 。 在 这 个 查询 中 ，FROM 
子 句 用 来 连接 两 个 表 。 在 使 用 列 时 我 们 应 该 指明 其 所 在 的 表 ， 因 为 不 同 的 表 中 可 能 出 现 相同 的 列 
名 。 我 们 通过 在 表 名 后 加 一 个 “. ”符号 然后 再 加 上 列 名 来 实现 ， 如 查询 中 的 SELECT 子 句 所 示 。 
WHERE 子 句 表 明 两 个 表 各 自 的 Item. ID 属性 必须 匹配 。BETWEEN…AND 操作 用 来 查询 两 个 日 期 范 
围 内 的 数据 , 从 “2010 - 10 - 23” 到 当 前 H 期 o SELECT Item.Brand, Item. Model,Item.Price, Transaction. Date 

上 述 查询 的 返 回 结果 是 从 促销 活动 开始 所 Dose Transaction Item ID-Item.Item ID 
售 出 的 VistaQuest 相机 的 信息 列表 。 结 果 表 实际 ADN Tantanan Date beret '2010-10-23'and curdate() 

上 可 以 包含 上 百 甚至 上 千 的 行 。 但 是 ， 这 样 的 
表 可 能 没有 什么 用 处 一 一 管理 员 需 要 的 实际 是 










、 VistaQuest | VO-7024 - 2010-10-23 

包含 售 出 相机 的 总 量 的 汇总 表 。 这 可 以 通过 使 | vistaouest | VO-5115 Pink .84 | 2010-10-23 
FH SQL 内 置 的 一 些 聚集 函数 来 完成 ， 这 些 聚 集 VistaQuest | VQ-5015 Silver . 2010-10-23 

` VistaQuest | VQ-7024 . 2010-10-23 

- 函数 包括 AVG ( iR 回 一 列 的 平均 值 ) . COUNT VistaQuest | VO-5115 Blue . 2010-10-24 


(返回 一 列 包含 的 行 数 ) MAX (返回 一 列 的 最 VistaQuest | VQ-7024 2.84 | 2010-10-24 
KÉ), MIN (返回 一 列 的 最 小 值 ) 和 SUM GR 
回 一 列 的 和 ) 等 。 图 10.16 显示 的 是 使 用 了 图 10. 15 一 个 多 表 上 的 SQL 查询 的 例子 





: 
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COUNT 和 SUM 基数 的 SQL 查询 。CROUP BY 子 句 用 来 指明 SUM 琐 数 必 须 对 每 一 个 唯一 的 Model 
值 都 执行 。 利 用 查询 的 结果 集 ， 商 店 管理 员 可 以 通过 对 比 VistaQuest 相机 当前 的 销售 额 和 促销 开 
始 前 的 销售 额 ， 来 检查 促销 活动 的 收入 。 


SELECT Item.Brand,ltem.Model,COUNT!(Item. Model),SUM(Item.Price) 
FROM [tem,Transaction 

WHERE Transaction.ltem_ID=Item.ltem_ID 

AND Item.brand-'VistaQuest' 

AND Transaction. Date between'2010—10—23'and curdate() 

GROUP BY Model 


VistaQuest | VQ—5015 Silver 1864.56 
VistaQuest | VO-5115 Blue 2303.28 
VistaQuest | vQ-5115 Pink 2138.76 
VistaQuest | VQ-7024 6495.12 







图 10. 16 ”一 个 带 有 聚集 函数 的 SQL 查询 的 例子 


数据 库 查 询 和 数据 挖掘 的 区 别 是 什么 

数据 库 查 询 可 以 看 做 是 数据 挖掘 的 基本 形式 。 查 询 确实 为 用 户 提供 了 向 关系 数据 库 提 问 和 获取 
满足 特定 条 件 的 数据 子 集 的 机 会 。 例 如 ， 通 过 使 用 关系 查询 ， 我 们 可 以 提取 一 些 信息 : 上 个 月 售 出 
的 所 有 产品 列表 ; 以 产品 类 别 、 品 牌 和 型 号 分 类 的 总 销售 额 ; 过 去 12 个 月 消费 超过 1000 美元 的 顾 
客 列表 ; 或 者 过 去 一 个 月 销售 额 超过 10000 美元 的 员工 列表 。 实 际 上 ， 我 们 还 能 获取 更 多 的 信息 。 

假设 我 们 想 开展 一 个 针对 性 的 活动 来 促销 一 款 新 产品 。 为 了 使 促销 活动 取得 成 功 ， 我 们 需 
要 知道 潜在 顾客 的 一 些 主要 特征 ， 如 年 龄 、 收 入 、 婚 姻 状 况 、 房 产 、 债 务 ， 等 等 。 当 然 ， 我 们 可 
以 通过 数据 库 获 得 过 去 购买 了 类 似 产品 的 顾客 列表 。 利 用 SQL 聚集 函数 ， 我 们 可 以 确定 潜在 顾 
客 的 平均 年 龄 、 平 均 收 入 和 平均 债务 。 如 果 结 果 集 不 是 很 大 ， 我 们 还 可 以 识别 出 一 些 潜在 顾客 的 
公共 特征 ， 例 如 房产 。 然 而 ， 所 有 的 这 些 信 息 并 不 能 揭示 我 们 需要 找到 的 实际 群体 一 一 高 收入 、 
高 债务 的 年 轻 人 和 低 收 入 、 低 债务 的 老年 人 可 能 对 同一 款 产 品 感 兴趣 。 数 据 挖掘 可 以 自动 发 现 
这 些 隐 含 的 群体 。 

数据 库 查 询 是 基于 假设 的 一 一 用 户 必 须 提 出 正确 的 问题 。 与 查询 相反 ， 数 据 挖掘 自动 建立 
一 个 数据 模型 ;发 现 数据 模式 、 查 询 趋势 、 泛 化 和 执行 预测 。 数 据 挖掘 往往 会 使 用 数据 库 ， 因 为 
数据 库 代 表 了 最 常用 和 丰富 的 数据 宝库 。 ， 


10.5 数据 仓库 和 多 维 数据 分 析 

关系 数据 库 成 熟 于 20 世纪 80 年 代 ， 它 导致 了 数据 管理 系统 和 业务 的 运作 自动 化 的 广泛 应 用 

然而 ， 随 之 也 出 现 了 一 个 新 的 挑战 一 一 如 何在 整个 组 织 或 商业 中 获得 一 个 更 广泛 的 视野 。 
这 个 挑战 在 20 世纪 80 年 代 晚 期 到 20 世纪 90 年 代 早期 ， 当 第 一 个 商业 数据 仓库 (data warehou- 
ses) 建立 的 时 候 得 到 了 回答 。 数 据 被 从 多 个 操作 型 数据 库 聚 集 到 一 起 ， 以 给 组 织 管理 者 提供 一 
个 全 公司 范围 的 视野 。 

什么 是 数据 仓库 

“数据 仓库 ”一 词 最 早 由 “数据 仓库 之 父 ”Bill Inmon F 20 世纪 90 年 代 初 期 提出 。 他 把 数 
据 仓库 定义 为 “一 个 面向 主题 的 、 集 成 的 、 反 应 历史 变化 的 、 相 对 稳定 的 数据 集合 ， 用 于 支持 管 
理 决策 ”(Inmon, 1992) 。 数 据 仓库 是 主要 为 决策 支持 应 用 而 设计 和 构建 的 大 型 的 集成 的 数据 库 。 

数据 仓库 的 主要 特征 是 什么 

数据 仓库 的 一 个 主要 特征 是 它 的 规模 。 数 据 仓 库 规模 很 大 一 一 它 包括 上 百 万 甚至 上 十 亿 的 
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数据 记录 。 然 而 ， 这 些 还 不 是 数据 仓库 的 全 部 。 在 数据 仓库 的 定义 中 ，Bil Inmon 描述 了 数据 库 
的 四 大 主要 特征 : 面向 主题 、 集 成 性 、 时 变性 和 稳定 性 。 

面向 主题 代表 了 数据 仓库 与 关系 数据 库 的 根本 区 别 。 与 关系 数据 库 是 为 日 常 商业 运作 而 构 
建 不 一 样 ， 数 据 仓库 是 为 了 分 析 特 定 的 主题 而 开发 。 举 个 例子 ， 在 银行 业 中 ， 关 系数 据 库 包含 了 
客户 存款 、 贷 款 和 一 些 其 他 事务 的 独立 的 数据 记录 ; 数据 仓库 将 这 些 数据 集中 到 一 起 来 提供 酬 
金 、 利 润 和 亏损 等 特定 金融 信息 。 与 决策 无 关 的 数据 并 不 包括 在 数据 仓库 中 。 

集成 性 意味 着 数据 仓库 中 的 数据 来 源 于 多 个 不 同 的 数据 库 ， 包 括 在 线 的 操作 型 数据 库 、 关 
系数 据 库 和 普通 文件 。 数 据 被 清洗 以 后 被 集中 到 一 个 一 致 性 的 数据 库 中 。 

时 变性 反映 出 数据 仓库 中 的 数据 属于 一 个 特定 时 间 内 。 用 户 可 以 生成 指定 时 间 区 间 内 的 报 
表 ， 因 而 可 以 观察 数据 随时 间 的 变化 。 

稳定 性 是 指数 据 库 中 的 数据 是 稳定 和 持久 的 。 数 据 仓库 通常 包含 几 年 的 有 价值 的 数据 (48 
反 ， 一 个 典型 的 关系 数据 库 大 约 只 有 60 ~ 90 天 的 时 间 跨 度 ) 。 实 际 上 ， 数 据 仓库 往往 不 要 求 最 新 
的 关系 数据 ， 也 就 是 说 数据 仓库 中 的 数据 是 非 实 时 的 。 

在 商业 决策 中 ， 往 往 需 要 管理 者 对 业务 拥有 一 个 更 广泛 的 视野 ， 忽略 特定 的 日 常 活动 的 细 
节 。 数 据 仓库 使 得 用 户 可 以 查看 特定 的 值 随 着 时 间 推 移 的 改变 情况 ， 从 而 发 现 数 据 中 的 趋势 。 查 
询 通常 交互 式 地 执行 ， 一 个 查询 的 结果 能 够 引出 下 一 个 查询 。 

我 们 可 以 把 数据 仓库 看 做 一 个 单独 的 关系 数据 库 系统 ， 这 个 数据 库 系统 中 包含 多 个 操作 型 
数据 库 系统 的 数据 备份 。 

为 什么 需要 将 数据 从 一 个 系统 复制 到 另 一 个 系统 ? 为 什么 我 们 需要 一 个 单独 的 数据 仓库 

操作 型 数据 库 管理 系统 是 为 业务 运作 的 自动 化 而 设计 和 构建 的 。 例 如 ， 百 货 公 司 完成 一 项 
交易 后 ， 一 条 新 的 数据 记录 被 插入 到 Transaction 表 中 ， 所 有 相关 记录 (例如 库存 、 员 工 和 顾客 ) 
也 随 之 更 新 。 操 作 型 数据 库 系 统 关注 的 是 日 常 的 操作 ， 无 需 保存 历史 数据 。 另 一 方面 ， 如 果 我 们 
想 用 一 个 操作 型 数据 库 系统 来 做 商业 决策 ， 我 们 需要 获得 很 长 时 间 段 (通常 是 10 年 ) 的 数据 。 
如 果 我 们 要 执行 决策 支持 查询 ， 系 统 性 能 将 会 下 降 。 每 当 执行 一 条 这 样 的 查询 时 ， 系 统 会 变 得 很 
AVES HR. 

更 为 严重 的 是 ， 不 同 的 操作 型 数据 库 往 往 运 行 在 不 同 的 硬件 平台 和 操作 系统 中 。 有 些 应 用 只 是 
针对 特定 平台 开发 。 运 行 在 不 同 机 器 和 不 同 物理 位 置 上 的 分 布 式 数据 库 系 统 可 能 是 不 兼容 的 。 

这 些 就 是 我 们 需要 从 不 同 的 操作 系统 复制 数据 、 将 数据 保存 为 统一 的 格式 和 将 数据 保存 在 
一 个 单独 的 数据 库 即 数据 仓库 的 原因 。 

如 何 设计 数据 仓库 

数据 仓库 是 另外 一 种 类 型 的 数据 库 ， 需 要 采用 不 同 的 设计 方法 。 数 据 仓库 包含 更 大 规模 的 
数据 而 且 支 持 复杂 的 业务 类 型 查询 。 然 而 ， 数 据 库 越 大 ， 查 询 起 来 也 就 越 困 难 。 

关系 数据 库 基于 关系 数据 模型 。 这 个 模型 表示 了 许多 关系 表 之 间 的 交互 。 关 系数 据 模型 特 
别 适 合 SQL 查询 ， 它 只 能 提供 业务 的 平面 二 维 视图 ， 不 太 适 用 于 决策 。 

另外 一 种 方法 是 使 用 多 维 数据 模型 。 关 系数 据 模 型 研究 单个 的 关系 ， 例 如 Item, Customer 或 
Transaction ， 以 及 它们 之 间 的 联系 。 而 多 维 数据 模型 将 数据 看 做 是 一 个 数据 立方 体 (data cube) 。 

什么 是 数据 立方 体 

数据 立方 体 提供 了 一 种 从 多 种 不 同 的 视角 来 观察 数据 的 方法 。 举 个 例子 ， 像 沃尔玛 等 经 营 
百货 商场 连锁 店 的 大 型 公司 ， 其 管理 者 会 发 现 它们 在 纽约 的 经 营 状况 要 比 加 州 的 好 。 管 理 者 还 
可 以 找 出 本 季度 经 营 状 况 最 好 的 商场 。 视 频 游戏 的 销售 是 否 比 手机 更 好 ? 数据 立方 体 还 可 以 让 
管理 者 发 现 新 的 趋势 。 

数据 立方 体 可 以 被 定义 为 一 种 表示 多 维 聚 合 数据 的 方式 。 数 据 立 方 体 ， 或 多 维 数据 模型 ， 使 
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用 维度 和 事实 来 描述 数据 (Gray et al. , 1996; 1998) 。 

维度 表示 我 们 保持 我 们 的 记录 ， 并 生成 数据 仓库 查询 的 实体 。 举 个 例子 ， 零 售 商 创建 一 个 数 
据 仓库 来 保持 关于 Time (事务 发 生 的 时 间 ) Rem ( 售 出 的 商品 ) M Employee (商品 出 售 者 ) 的 
商场 销售 记录 。 如 果 数 据 仓库 是 为 拥有 多 个 连锁 门店 的 公司 创建 ,我们 还 需要 添加 一 个 Store 维 
BE (事务 发 生地 点 )。 维 度 可 以 被 定义 为 一 个 逻辑 上 相关 的 属性 的 集合 。 例 如 ，Time 维 通常 包括 
date, week, month, quarter 和 year 等 属性 ， 而 Item 维 则 可 能 包括 item_ID, model, brand, catego- 
ry 和 department 等 属性 。 每 一 个 维度 都 有 一 个 与 之 相关 联 的 表 ， 称 为 维度 表 。 

数据 立方 体 围 绕 一 个 中 心 的 主题 而 组 织 ， 例 如 一 个 零售 数据 仓库 往往 以 销售 (sales) 作为 
中 心 主题 。 主 题 用 事实 来 表示 ， 即 数据 仓库 中 存储 的 特定 数据 。 事 实用 一 些 度量 来 表示 ， 这 些 度 
量 包括 销售 额 和 销售 量 。 事 实 保存 在 事实 表 中 。 事 实 表 是 数据 仓库 中 的 一 张大 表 一 一 它 保 存 了 
商场 中 的 大 量 销售 的 详细 情况 。 因 此 ， 如 果 我 们 需要 保存 一 段 重要 历史 时 期 〈 数 年 而 不 是 数 天 ) 
的 销售 记录 ， 事 实 表 会 变 得 非常 大 ， 可 能 包含 数 亿 条 行 记 录 。 幸 运 的 是 ， 事 实 表 中 的 数据 并 不 必 
需要 最 低层 的 详情 ， 它 只 需要 维护 汇总 信息 ， 例 如 产品 的 每 日 总 销售 量 。 对 于 决策 ， 我 们 并 不 需 
要 知道 每 一 个 事务 的 具体 细节 。 

事实 表 中 包含 大 量 的 数据 并 且 被 定期 更 新 (通常 只 是 附加 数据 ) ， 而 维度 表 则 负责 维护 查询 
完成 后 用 于 组 合 数据 的 一 些 属性 。 这 些 属性 虽然 会 随 着 时 间 改 变 , 但 是 它们 却 很 少 被 更 新 。 例 
如 ， 员 工 或 顾客 可 能 会 变更 他 们 的 地 址 ， 或 者 新 的 产品 类 别 被 添加 。 EEN EE 
(Kimball and Ross, 2002) 。 

虽然 在 几何 上 立方 体 是 三 维 的 ,但 是 数据 仓库 中 的 数据 立方 体 是 多 维 的 。 数 据 立 方 体 可 以 
看 做 是 一 个 多 尖 的 星星 ， 如 图 10. 17 所 示 。 星 星 的 中 心 对 应 事实 表 ， 星 星 的 尖 则 表示 维度 。 每 一 
个 维度 有 一 个 包含 多 层 抽象 的 层次 结构 。 例 如 ，Time 维 有 5 个 层次 水 平 : date, week, month, 
quarter 和 year。 整 个 星 形 结构 称 为 星 网 模型 (Han and Kamber, 2006) 。 





Store 维 H 
9 country 
Customer 维 3 state 
income W^. 9 city Employee 维 
ri code Ow Sw. store ID P- - 
customer ID a Pe 


date e ta item_ID 


week Ld 3 to model 
~ brand 


month < 
quam, ? e cem 
Ld 9 Lx department 
year zd < x 
Ut ) N 
y ; 
Time & Supplier 维 Item 维 


图 10. 17 数据 立方 体 的 星 网 模型 表示 


星 网 模型 使 用 传统 的 父母 -子女 层次 关系 。 例 如 ，week 是 month 的 子女 ，month 是 quarter 的 
子女 ， 等 等 。 父 母 负 责 保存 子女 中 包含 的 数据 的 汇总 和 或 上 卷 。 星 网 模型 使 用 户 跨越 任意 数量 的 
维度 来 浏览 数据 。 用 户 可 以 对 数据 执行 上 卷 操作 (例如 沿 Time Æ, MA month 到 quarter 和 从 quar- 
ter 到 year) 或 下 钻 操 作 (在 Store 维 ， 从 state 到 city 和 从 city 到 store_ ID) 。 因 此 ， 我 们 可 能 执行 
以 下 的 查询 : 某 个 产品 (例如 Nintendo 视频 游戏 ) 的 总 销售 量 ; L-A (月 或 季度 ) 时 间 内 在 
某 一 个 城市 (例如 Trenton) 或 者 州 ( 新 泽 西 州 ) 购买 的 产品 (相机 、 电 话 、 计 算 机 、 电 视 或 者 
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视频 游戏 ) 的 类 别 。 我 们 也 可 能 将 这 些 销 售 图 表 与 前 一 年 同一 时 间 段 进行 对 比 ， 毕 竟 销 售 的 增 
长 是 业务 发 展 的 很 好 指示 。 所 有 的 这 些 查询 都 是 从 三 个 不 同 维度 (Item, Store 和 Time) 的 不 同 
层次 水 平 来 获取 数据 。 

数据 立方 体 模型 和 魔方 很 类 似 ， 用 户 可 以 很 轻易 地 从 一 个 维度 组 合 转换 到 另 一 个 维度 组 合 。 
当 我 们 创建 数据 立方 体 时 ， 从 事实 表 (数值 数据 ) 中 得 到 事实 ， 并 且 按 照 store, quarter, store 
和 quarter 或 者 任意 可 能 的 维度 组 合 和 它们 的 层次 水 平 来 对 数据 进行 汇总 。 

数据 立方 体 如 何 工作 

为 了 理解 数据 立方 体 是 如 何 工作 的 ， 我们 以 一 个 简单 的 二 维 立方 体 的 例子 来 作 说 明 。 实 际 
上 ,二 维 立 方 体 可 以 表示 为 一 个 单独 的 表 ， 如 图 10.18 所 示 。 这 个 表 中 包含 电子 部 门 的 销售 数 
据 。 数 据 表 示 为 Time 和 Item 两 个 维度 。 注 意 ， 表 中 包含 一 列 和 一 行 ， 分别 保存 列 和 行 上 的 总 
和 。 这 些 总 和 通常 被 称 为 “边缘 ”， 因 为 它们 出 现在 表 的 “边缘 ”。 然 而 ， 对 于 一 个 大 的 数据 集 ， 
对 每 一 个 查询 都 计算 边缘 是 很 低 效 的 。 因 此 ， 通 常数 据 会 被 聚合 和 存储 ， 从 而 使 得 那些 原本 需要 
复杂 处 理 的 高 层 报表 经 过 简单 的 选择 过 程 就 可 以 及 时 生成 。 


Time.month between MonthName (1,true) and MonthName(3,true) 
Item.department= ‘Electronics’ 


Jan | $532211| $612 765 | $227 482 $871 043 | $692 015 $314 806 
Feb} $529654| $603 187 | $211 285 $854 106 | $691 892 $306 021 
Mar} $561 290] $618 951 | $218 572 $896 202 | $712 020 $369 142 


10.18 ”二 维 数 据 立 方 体 的 表格 表示 


现在 我 们 给 二 维 数据 立方 体 添 加 第 三 个 维度 。 例 如 ， 我 们 需要 添加 一 个 Store 维 来 查看 位 于 
新 泽 西 州 的 商城 的 电子 销售 情况 。 图 10. 19 显示 了 表格 形式 的 三 维 数据 立方 体 。 可 以 看 出 ， 这 个 
三 维 数据 立方 体 包含 一 系列 的 表 。 


Time.month between MonthName (1,true) and MonthName (3,true) 
Item.department- ‘Electronics’ 
Store.state= ‘NJ’ 






$9 822 644 





~ Trenton, NJ a 


Jan | $204 518 | $213 107 $80 522 | $318 582 | $214 328 $86 232 
$201 386 | $208 425 $76 341 | $317374 | $212230 $82 349 
$206 651 | $214 931 $83 711 | $323485 | $215234 $87 027 


~ Saddle Brook,NJ 


Jan | $164 460 | $142 097 $64292 | $213487 | $132 348 $63 927 
Feb | $161 507 | $136 374 $56348 | $243970 | $134 082 $61 402 
Mar | $167 934 | $143 983 $61 32 $245 092 | $134 961 $64 920 





图 10. 19 三 维 数据 立方 体 的 表格 表示 


三 维 数据 立方 体 也 可 以 表示 为 如 图 10. 20 所 示 的 立方 体 。Time、Item 和 Store 三 个 维度 形 
成 了 立方 体 的 坐标 系 。, 事 实 包含 在 立方 体 的 单元 格 中 ,单元 格 位 于 从 每 一 维 取 出 一 个 成 员 的 相交 
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处 。 例 如 ， 成 员 Jan, Audio 和 Trenton 代表 的 单元 格 包 含 一 月 份 新 泽 西 州 特 伦 顿 市 的 音像 销售 额 
(204 518 美元 ) 。 率 合 数据 位 于 立方 体 的 表面 、 边 和 角落 。 


Item 
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图 10.20 ”对 应 于 Time, Item 和 Store 三 个 维度 的 三 维 数据 立方 体 
虽然 查看 三 维 以 上 的 事物 很 困难 ,但 是 我 们 可 以 将 任意 的 n — D 维 数据 立方 体 显示 为 一 系列 
&j (n-1) -DD 维 立 方 体 。 因 此 ， 如 果 在 我 们 的 数据 立方 体 中 添加 第 四 个 维度 ,例如 Customer 
HE, 我 们 将 得 到 如 图 10. 21 所 示 的 一 系列 的 三 维 立 方 体 。 然 而 ， 我 们 应 该 记 住 , “数据 立方 体 ” 
一 词 仅仅 是 一 个 比喻 ， 它 只 是 用 来 表达 多 维 数据 模型 的 概念 。 在 现实 中 ， 数 据 立 方 体 表示 为 电子 
表格 、 图 表 和 图 形 等 “标准 ”格式 。 


Audio 






Cameras 





Cell phones 





Computers 





TVs 





Video games 





Total 


n oes 
Computers Computers 32042| 94 
Total 306563 - 330 301 


Jan Feb Mar z Jan Feb Mar 





10.21 - 对 应 于 Time, Item, Store 和 Customer 四 个 维度 的 思维 数据 立方 体 


因为 数据 立方 体 包 含 聚合 形式 的 数据 ， 它 似乎 在 我 们 提出 一 个 问题 之 前 就 已 经 知道 了 答案 。 
例如 ， 如 果 我 们 询问 年 度 和 城市 总 销售 额 ， 这 些 数字 已 经 是 现 有 的 ; 如 果 我 们 询问 季度 、 类 别 和 
供应 商 的 总 销售 额 ， 这 些 数字 也 是 现 有 的 。 这 也 是 数据 立方 体 如 此 非凡 的 原因 。 你 提出 的 任何 问 
题 可 以 及 时 (通常 是 在 一 秒 之 内 ) 获得 答案 。 


如 何 构 建 和 运行 自己 的 数据 立方 体 
支持 大 规模 数据 的 多 维 视图 和 快速 访问 的 软件 技术 称 为 联机 分 析 处 理 (OLAP) 。 联 机 分 析 
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处 理 的 需求 最 早 在 Codd 和 Associates 的 白皮书 中 被 形式 化 〈Codd et al. , 1993) 。 联 机 分 析 处 理 使 
我 们 可 以 通过 构建 和 运行 自己 的 数据 立方 体 来 对 数据 进行 高 效 的 分 析 。 

“联机 分 析 处 理 ” 一 词 的 创造 是 为 了 和 “联机 事务 处 理 ” (On - Line Transaction Processing, 
OLTP) 一 词 进 行 区 别 ， 以 强调 OLAP 的 分 析 能 力 。 

OLTP 系统 可 以 操作 大 量 涉及 多 个 和 复杂 关联 的 关系 表 ， 它 们 能 够 以 光速 更 新 和 删除 大 量 的 
记录 。 然 而 ， 使 得 OLTP 系统 能 够 快速 和 准确 地 执行 事务 操作 的 特别 设计 却 让 它 在 做 数据 分 析 时 
很 困难 。OLTP 可 以 使 用 SQL 执行 简单 地 查询 ， 然 而 这 些 查 询 只 使 用 了 相对 较 小 的 数据 集 。 分 析 
处 理 (按照 类 别 、 州 和 季度 来 分 组 统计 总 销售 额 ) 要求 我 们 能 够 提取 更 大 规模 的 数据 ， 所 以 需 
要 运行 所 谓 的 “存储 过 程 ” 一 编译 成 一 个 单独 执行 计划 的 SQL 声明 的 组 合 。 这 些 存储 过 程 可 
能 需要 数 小 时 来 运行 。 另外， 存储 过 程 还 会 让 OLTP 系统 本 身 变 得 很 慢 甚至 停止。 

OLTP 系统 是 为 管理 操作 型 数据 库 而 开发 ， 而 OLAP 系统 则 是 为 了 分 析 处 理 数据 仓库 中 的 数 
据 而 开发 。 创 建 数据 仓库 使 得 OLAP 数据 库 从 OLTP 数据 库 中 分 离 出 来 。 将 数据 从 操作 型 数据 库 
复制 到 数据 仓库 ， 使 得 OLTP 系统 能 够 在 持续 高 效 运行 的 同时 ， 还 保证 了 OLAP 系统 可 以 支持 商 
业 决 策 所 需要 的 复杂 的 查询 。OLAP 运行 数据 立方 体 使 得 用 户 可 以 从 不 同 的 视角 来 查看 数据 。 

OLAP 如 何 便于 不 同 视角 的 数据 查看 ? OLAP 可 以 执行 什么 操作 

多 维 查 询 本 质 上 是 一 个 通过 沿 着 维 导 航 、 增 加 或 降低 详细 程度 ， 从 而 发 现 “ 有 趣 的 ”趋势 
和 关系 的 探索 过 程 。 完 成 这 个 过 程 需 要 多 个 OLAP 操作 。OLAP 可 以 在 数据 立方 体 中 对 数据 进行 
“切片 ”和 “ 切 块 ”",“ 下 外 ”和 “上 卷 ”。 下 面 我 们 来 看 看 主要 的 OLAP 操作 。 

e 上 卷 (roll up)。 上 卷 操 作 通 过 在 选 定 的 维 的 层次 结构 向 上 攀 ， 对 数据 立方 体 中 的 数据 进 

行 聚集 。 例 如 ， 在 图 10. 17 所 示 的 数据 立方 体 中 ,将 Store FEM city 层 上 升 到 state EZ, 再 
到 country 层 ， 我 们 可 以 分 别 按照 州 和 国家 来 聚集 数据 。 

上 卷 操作 也 可 以 通过 降 维 ( 即 从 给 定 立 方 体 中 删除 一 个 或 多 个 维 ) 来 完成 。 例 如 ， 如 果 我 
们 有 一 个 三 维 立方 体 ， 包 括 Time, Item 和 Store 三 个 维 (如 图 10.20 所 示 )， 上 卷 操作 可 以 通过 
删除 Item 维 来 完成 。 得 到 的 二 维 立方 体 表示 按 Store 和 Time 汇总 的 总 销售 。 

© F4 (drill down) 。 下 销 是 上 卷 的 逆 操 作 。 下 钻 可 以 通过 在 给 定 的 数据 立方 体 中 沿 着 选 定 
维 的 层次 结构 下 降 或 引入 新 的 维 来 实现 。 下 钻 操作 为 我 们 提供 了 更 加 详细 的 数据 。 
切片 〈slice) 。 切 片 操 作 通过 在 数据 立方 体 给 定 的 维 的 层次 结构 中 选择 单一 的 成 员 来 形成 
一 个 子 立方 体 。 例 如 ， 在 图 10.20 所 示 的 三 维 立 方 体 中 ， 如 果 在 Store 维 的 city 层 选择 
Trenton 成 员 ， 我 们 将 得 到 一 个 二 维 的 子 立 方 体 。 实 际 上 ， 数 据 立 方 体 的 “切片 ”类 似 于 
图 10. 19 所 示 的 交叉 表格 报表 。 

切 块 〈dice) 。 切 块 操作 和 切片 操作 类 似 ， 不 过 它 选 择 两 个 或 更 多 的 成 员 。 切 块 操作 通过 
限制 给 定 立 方 体 的 所 有 维 来 定义 一 个 子 立 方 体 。 例 如 ， 通 过 如 下 限制 图 10. 20 所 示 的 三 
维 立方 体 的 两 维 : 


Time.month between MonthName (1, true) and MonthName (2, true) 
AND (Item.category = ‘Audio’ or Item.category = ‘Cameras’) 


我 们 得 到 的 是 如 图 10. 22 所 示 的 子 立 方 体 〈 仍 然 是 三 维 的 ) 。 
e 转轴 (pivot) 。 转 轴 〈 又 称 旋转 ) 操作 改变 报表 或 页 面 的 坐标 轴 方 向 。 例 如 ， 我 们 可 以 
交换 如 图 10. 18 所 示 的 报表 的 行 和 列 。 初 始 报表 以 Tem 维 的 成 员 为 列 ， 以 Time 维 的 成 员 
为 行 ; 转轴 操作 提供 了 一 个 以 月 份 为 列 和 产品 为 行 的 报表 。 
数据 立方 体 可 以 使 用 基于 SQL 的 查询 语言 来 构建 (确切 地 说 是 定义 ) (Bulos and Forsman, 
2006; Celko, 2006 ) 。SQL 语句 被 扩展 以 便于 OLAP 查询 。 例 如 ，Oracle 10g 数据 库 提供 了 排 
名 ( ranking ) 、 移 动 窗口 聚集 ( moving - window aggregate ) 、 时 期 比较 ( period - over - period 
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399 comparisons) 、 统 计 (statistics) 、 直 方 图 (histogram)、 假 设 排名 (hypothetical rank) 和 分 布 
400 (distribution) 等 函数 (Hobbs et al. , 2005) 。 
什么 是 OLAP 数据 挖掘 
OLAP 是 一 种 强大 的 分 析 工 具 。 它 支持 数据 仓库 中 数据 的 多 维 视图 。OLAP 通过 “切片 ”和 
“ 切 块 "、“ 下 钻 ” 和 “上 卷 ” 等 操作 提供 交互 式 用 户 直 接 (user-direct) 的 数据 分 析 。 这 些 操 作 ， 
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实际 上 是 数据 挖 气 操作， 确实 可 以 从 数据 中 发 现 新 的 知识 。 然 而 ， 数 据 挖掘 代表 了 数据 分 析 的 更 
广阔 的 视野 。 它 不 仅 能 执行 数据 汇总 和 比较 任务 ， 还 能 解决 分 类 、 预 测 、 聚 类 、 关 联 分 析 和 时 序 
分 析 等 复杂 的 机 器 学 习 问 题 。 

OLAP 是 一 种 需要 用 户主 动 参与 的 用 户 直接 (user-direct) 的 数据 分 析 工 具 ， 而 数据 挖掘 通 
常 和 从 数据 中 自动 提取 知识 有 关 ， 它 便于 从 存储 在 数据 库 的 数据 中 发 现 隐 含 的 模式 和 自动 对 新 
数据 进行 预测 。 利 用 OLAP 工具 ， 我 们 往往 通过 一 个 假设 来 开始 我 们 的 分 析 ， 然 后 查询 数据 仓库 
来 证 明 或 反 证 假设 。 利 用 数据 控 掘 工具 ， 提 出 正确 的 问题 的 压力 被 转移 给 计算 机 。 

有 意思 的 是 ， 分 类 、 预 测 和 关联 等 数据 挖 气功 能 已 经 被 集成 到 现代 的 OLAP 系统 中 。 例 如 ， 
Microsoft SQL Server 和 Oracle 10g 数据 库 不 仅 允 许 用 户 访问 数据 立方 体 ， 而 且 人 允许 用 户 使 用 数据 
挖掘 工具 (Hobbs et al , 2005; Han and Kamber, 2006) 。 | 

虽然 数据 挖掘 经 常 依赖 于 神经 网 络 和 神经 - 模糊 系统 等 智能 技术 ， 但 最 流行 的 工具 是 决策 
树 和 购物 篮 分 析 。 


10.6 决策 树 


决策 树 可 以 定义 为 一 个 推理 过 程 的 示意 图 。 它 使 用 一 个 类 似 于 树 形 的 结构 来 描述 数据 集 。 
决策 树 特别 适合 解决 分 类 问题 。 

图 10. 23 显示 一 个 用 于 识别 很 可 能 响应 新 产品 如 银行 服务 的 促销 活动 的 家 庭 的 决策 树 。 通 
常 ， 这 个 任务 是 通过 确定 家 庭 在 过 去 对 类 似 产品 的 促销 活动 进行 响应 的 人 口 统计 特征 来 完成 。 
家 庭 用 其 房产 、 收 入 和 银行 账户 类 型 等 来 描述 。 数 据 库 (APR Household) 中 的 一 个 字段 用 来 
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表示 家 庭 是 否 响应 了 之 前 的 促销 活动 。 | 

决策 树 由 结 点 、 分 支 和 叶子 组 成 。 图 10.23 中 ， 每 一 个 方 框 代 表 一 个 结 点 。 最 顶部 的 结 点 称 
为 根 结 点 。 决 策 树 总 是 从 根 结 点 开始 ， 然 后 通过 在 每 一 层 将 数据 划分 为 新 的 结 点 来 往 下 增长 。 根 
结 点 包含 整个 数据 集 (所 有 数据 记录 ) ， 子 结 点 包含 对 应 的 数据 子 集 。 结 点 之 间 通 过 分 支 来 连 
接 。 注 意 ， 分 支 最 底 端 的 结 点 称 为 终端 结 点 ， 或 者 叶子 。 

每 一 个 结 点 包含 该 结 点 所 含 的 数据 记录 的 数目 和 因 变 量 的 值 的 分 布 等 信息 。 

什么 是 因 变 量 

因 变 量 是 用 户 选 择 的 ， 用 来 确定 研究 的 目标 。 在 我 们 的 例子 中 ，Household 为 因 变 量 ， 它 的 
取 值 为 responded 或 not responded, 

在 根 结 点 下 是 决策 树 的 下 一 层 。 在 这 一 层 中 ，Homeownership 变量 被 选 作 因 变 量 的 预测 因子 
并 且 所 有 的 家 庭 都 根据 预测 因子 的 取 值 来 进行 划分 。 数 据 的 划分 称 为 分 割 。 实 际 上 ，Homeowner- 
ship 仅仅 是 数据 库 中 的 一 个 字段 。 

决策 树 如 何 选择 一 个 特定 的 分 制 

决策 树 的 一 个 分 割 对 应 于 一 个 具有 最 大 划分 能 力 的 预测 因子 。 换 名 话说， 最 佳 分 割 将 数据 
划分 为 一 个 类 占 主导 的 形式 。 

在 我 们 的 例子 中 ，Homeownership 将 那些 响应 了 之 前 促销 活动 的 家 庭 从 不 响应 的 家 庭 中 最 佳 
分 割 出 来 。 在 图 10.23 中 ， 在 所 有 11.2% 的 响应 的 家 庭 中 ， 绝 大 部 分 不 是 房 主 。 

有 很 多 方法 可 以 用 来 计算 预测 因子 的 数据 划分 能 力 。 其 中 的 一 个 著名 的 方法 是 基于 度量 不 
平等 程度 的 基尼 系数 。 

什么 是 基尼 系数 

基尼 系数 用 来 度量 预测 因子 对 父 结 点 数据 类 别 的 划分 程度 。 

意大利 经 济 学 家 基尼 提出 了 一 个 粗略 度量 一 个 国家 收 109 
人 分 布 的 不 平等 程度 的 指标 。 基 尼 系 数 的 计算 如 图 10. 24 所 80 
示 。 对 角 线 表示 财富 的 绝对 平等 分 布 ， 其 上 的 曲线 代表 了 
实际 的 经 济 状况 ， 收 入 分 配 中 总 是 会 有 一 些 不 平等 。 曲 线 
数据 将 社会 人 群 从 最 富有 到 最 贫穷 排序 。 基 尼 系 数 的 计算 
方法 是 用 曲线 和 对 角 线 之 间 的 面积 除 以 对 角 线 以 下 的 面积 。 
当 财富 分 配 完 全 平等 时 ， 基 尼 系 数 取 值 为 0。 当 财富 完全 不 平 O 20 40 60 80 100 
等 分 布 ， 即 由 一 个 人 拥有 所 有 的 社会 财富 时 ， 基 尼 系 数 取 值 
为 1。 图 10. 24 基尼 系数 的 计算 

CART (分 类 和 回归 树 ) 采用 基尼 系数 来 选择 分 割 (Breiman, et al. , 1984)。 图 10. 25 显示 了 两 
棵 不 同 的 树 的 对 比 。 假 设 在 根 结 点 中 ， 我们 有 两 个 类 A 和 BB。 决策 树 力求 分 离 出 最 大 的 类 ， 也 即将 
类 A 的 数据 记录 划分 到 一 个 单独 的 结 点 。 这 种 理想 的 划分 往往 很 难 到 达 ; 在 大 多 数 情况 下 ， 数 据 库 
中 不 存在 能 够 将 一 个 类 的 数据 跟 其 他 类 区 分 开 的 字段 。 因 此 我 们 需要 在 多 种 可 能 的 分 割 中 做 选择 。 

图 10. 25a 中 显示 的 决策 树 是 根据 基尼 系数 来 选择 的 分 割 来 自动 增长 的 。 在 图 10. 25b F, R 
们 根据 自己 的 判断 或 者 推测 来 选择 分 割 。 最 后 生成 的 树 的 比较 如 图 10.26 中 的 增益 图 (也 叫做 累 
积 增益 图 ) 所 示 。 增 益 图 将 一 个 结 点 类 A 在 一 个 终止 结 点 的 累积 样本 百分比 映射 到 同一 个 结 点 
的 总 人 口 累积 百分比 。 这 里 的 对 角 线 表示 的 是 每 一 个 终止 结 点 包含 随机 人 口 样 本 时 的 结果 。 实 
验 结果 清楚 地 显示 出 用 基尼 系数 分 割 所 建立 的 树 的 优势 。 

如 何 从 决策 树 中 提取 规则 

从 根 结 点 到 叶 结 点 的 一 条 路 径 揭示 了 一 条 决策 规则 。 例 如 ， 在 图 10.25a 所 示 的 决策 树 中 ， 
右 下 边 的 叶 结 点 对 应 的 规则 可 以 表示 如 下 : 
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假设 有 社区 健康 服务 调查 的 结果 ， 而 且 想 要 弄 清 哪些 人 有 患 高 血压 的 高 风险 。 决 策 树 可 以 
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决策 树 可 以 解决 的 一 个 典型 任务 就 是 找 出 可 能 
导致 某 些 输出 的 条 件 。 这 使 得 决策 树 成 为 分 析 高 血 
压 人 群 的 好 选择 ， 而 社区 健康 调查 为 我 们 提供 了 需 
要 的 数据 。 

高 血压 发 生 在 人 体 的 小 血管 变 奉 的 时 候 。 为 了 
维持 血压 ， 心 脏 的 负担 加 重 ， 尽 管 人 体 承 受 血压 逢 


类 (%) 


高 的 时 间 可 以 达到 数 月 甚至 数 年 ， 但 最 终 心脏 会 出 o 一 o 基尼 系数 分 割 

现 问 题 。 e 一 e 人 工分 割 选择 
血压 可 以 分 为 最 佳 、 正 常 和 高 3 种 。 最 佳 血压 

低 于 120/80， 正常 血压 在 120/80 ~ 130/85 之 间 ， 当 $9. iH fs so 

血压 高 于 140/90 时 就 会 被 诊断 为 高 血压 。 图 10.27 BUS MCA MEER 


显示 了 高 血压 研究 使 用 的 一 个 数据 集 的 例子 。 
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图 10.27 一 个 高 血压 研究 的 数据 集 
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决策 树 的 好 坏 取决 于 数据 。 和 神经 网 络 和 模糊 系统 不 同 ， 决 策 树 不 能 容忍 噪声 和 污染 数据 。 
因此 在 开始 数据 控 气 之前， 数据 必须 被 清洗 。 

几乎 所 有 的 数据 库 在 某 种 程度 上 都 是 被 污染 的 。 在 高 血压 研究 中 ， 我 可 能 会 发 现 一 些 字段 
(例如 Alcohol Consumption (喝酒 状况 ) 或 Smoking (吸烟 ) ) 值 为 空 或 者 包含 不 正确 的 信息 。 我 
们 应 该 检查 数据 是 否 有 不 一 致 和 拼写 错误 。 然 而 ， 不 管 我 们 怎么 努力 都 不 太 可 能 提前 消除 所 有 
的 污染 ， 有 些 数据 中 的 异常 情况 只 有 在 数据 挖掘 过 程 中 才能 被 发 现 。 

我 们 也 可 能 想 要 丰富 数据 。 例 如 ， 假 如 有 weight (体重 ) 和 height (身高 ) 变量 ， 我 们 可 以 
很 容易 地 派生 出 一 个 新 的 变量 obesity。 这 个 变量 的 计算 使 用 体重 系数 (BMI): 以 公斤 为 单位 的 
体重 除 以 以 米 为 单位 的 身高 的 平方 。BMI 等 于 或 高 于 27. 8 的 男士 和 BMI 等 于 或 高 于 27. 3 的 女士 
被 分 类 为 “肥胖 ”的 。 

一 旦 高 血压 研究 的 数据 准备 好 ， 我 们 可 以 选择 一 个 决策 树 工 具 。 在 我 们 的 研究 中 ， 我 们 使 用 
Angoss 公司 的 KnowledgeSEEKER 一 一 一 个 全 面 的 用 于 构建 分 类 树 的 工具 。 

KnowledgeSEEKER 构建 决策 树 是 以 创建 一 个 对 应 于 因 变 量 Blood pressure (血压 ) 的 根 结 点 
开始 的 。 其 次 它 将 所 有 的 应 答 者 分 为 3 个 类 别 : optimal (最 佳 )、normal (正常 ) 和 high (高 )。 
在 我 们 的 研究 中 ，319 人 (32%) 被 分 为 optimal 26, 528 人 (5396) 被 分 为 normal 26, 153 人 
(15%) 被 分 为 high 类 。 

然后 KnowledgeSEEKER 确定 每 一 个 变量 对 Blood pressure 的 影响 ， 并 对 最 重要 的 变量 生成 一 
个 排序 列表 。 在 我 们 的 研究 中 ，age 位 于 列表 的 顶端 ，KnowledgeSEEKER 按照 年 龄 对 应 答 者 进行 
划分 ， 从 而 产生 了 决策 树 的 第 二 层 ， 如 图 10. 28 所 示 。 


-Blood pressure _ 




















图 10.28 高 血压 研究 : 生成 一 个 决策 树 
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可 以 看 出 ， 高 血压 的 风险 随 着 年 龄 在 增长 。 年 龄 超过 50 岁 以 后 ， 高 血压 变 得 很 普遍 。 

我 们 通过 产生 新 的 分 割 来 生长 树 。 例 如 ， 我 们 考虑 对 应 于 年 龄 在 51 ~ 64 岁 之 间 的 群体 的 这 
个 第 二 层 的 结 点 。KnowledgeSEEKER 按照 Obesity 来 分 割 这 个 群体 。 这 是 因为 在 我 们 的 例子 中 ， 
Obesity 是 年 龄 在 51 ~ 64 岁 的 人 是 否 患 高 血压 的 一 个 关键 指示 。 如 图 10. 28 所 示 ， 在 这 个 群体 中 
48% 的 肥胖 个 体 患 有 高 血压 。 实 际 上 ,在 老龄 人 群 中 ， 血 压 的 增长 主要 是 由 体重 的 增长 造成 。 

随 着 我 们 一 个 结 点 一 个 结 点 地 生长 树 ， 我 们 会 发 现 非 裔 美国 人 患 高 血压 的 风险 比 其 他 群体 
要 高 很 多 ， 而 且 吸 烟 和 醒酒 会 更 加 增 大 患 高 血压 的 风险 。 

如 何 查看 特定 的 分 割 

KnowledgeSEEKER 等 决策 树 工 具 允 许 我 们 查看 任意 的 分 割 。 图 10. 29 显示 的 是 按照 Gender 
(性 别 ) 对 35 ~50 岁 的 人 群 和 51 -64 岁 的 人 群 所 作 的 分 割 。 实 验 结果 显示 在 51 岁 之 前 ， 男 士 串 
高 血压 的 比例 比 女士 高 ; 而 在 51 岁 之 后 ， 结 果 刚 好 相反 ,女士 比 男士 更 有 可 能 患 高 血压 。 对 于 
数据 控 据 ， 决 策 树 方法 的 主要 优点 是 它 将 解决 方案 可 视 化 ， 而 且 可 以 跟踪 树 的 每 一 条 路 径 。 决 策 
树 发 现 的 关系 可 以 表示 为 一 系列 规则 ， 这 些 规 则 可 以 用 来 开发 一 个 专家 系统 。 
Biood pressure 
optimal: 319(32%) 


normal: 528(5394) 
high: 153(15%) 


Total: 1000 





















35-50 years E 
optimal: 208(35%) optimal: 21(12%)| fop 
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high: 48 (8%) high: 62(36%) 


Total: 596 Total: 173 




















图 10.29 ”高 血压 研究 : 关注 一 个 分 割 

然而 ， 决 策 树 也 有 一 些 缺 点 。 连 续 数据 〈 例 如 年 龄 或 收入 ) 必须 被 划分 为 范围 值 ， 从 而 可 
能 会 无 意 地 隐藏 一 些 重要 的 模式 。 

另 一 个 常见 的 问题 是 丢失 数据 和 不 一 臻 数据 的 处 理 ， 决 
策 树 只 有 在 处 理 “ 干 净 的 ”数据 时 才能 产生 可 靠 的 输出 。 

然而 ,决策 树 最 重要 的 限制 来 自 它 没有 一 次 检查 一 个 以 
上 变量 的 能 力 。 它 将 树 局 限 在 那些 可 以 将 解 空 间 (solution 
space) 划分 为 连续 的 矩形 的 问题 上 。 图 10. 30 所 示 说 明了 这 
一 点 。 高 血压 研究 的 解 空间 首先 按 age 划分 为 4 个 矩形 ,年 
龄 在 51 ~64 岁 的 群体 又 被 划分 为 超重 的 和 不 超重 的 。 最 后 ， 
肥胖 人 群 按照 race 来 划分 。 这 样 的 “矩形 ”划分 可 能 与 实际 
数据 的 分 布 不 能 很 好 地 吻合 。 在 树 很 大 的 时 候 会 导致 数据 碎 





图 10.30 高 血压 研究 的 解 空间 
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片 ， 而且 当 从 根 结 点 传 到 底 端 结 点 的 数据 量 很 小 的 时 候 会 使 发 现 有 意义 的 模式 和 规则 变 得 很 困 
难 。 为 了 最 小 化 数据 碎片 ， 通 常 需 要 对 最 低层 的 结 点 和 叶子 进行 修剪 。 

尽管 有 这 些 限制 ， 决 策 树 已 经 成 为 了 数据 挖掘 中 最 成 功 的 技术 之 一 。 产 生 清 晰 的 规则 集 的 
能 力 使 得 决策 树 对 业务 专家 尤其 具有 吸引 力 。 

与 决策 树 类 似 ， 我 们 可 以 使 用 关联 规则 挖掘 以 在 大 型 数据 库 中 发 现 变量 之 间 隐 含 的 关系 。 


10.7 关联 规则 和 购物 篮 分 析 


关联 规则 表达 大 型 数据 库 中 对 象 的 并 发 关系 〈 称 为 关联 ) 。 它 们 陈述 了 不 同 的 对 象 如 何 趋向 
于 组 合 到 一 起 。 关 联 规 则 的 概念 最 早 在 20 世纪 90 年 代 初 期 提出 (Agrawal et al.，1993 ) ， 最 初 被 
用 在 购物 篮 分 析 中 。 

什么 购物 篮 分 析 

假设 我 们 观察 超市 中 的 一 位 顾客 。 该 顾客 有 一 个 篮子 装 满 了 各 种 产品 ， 例 如 革 果 、 香 攻 、 橘 
子 汁 、 清 洁 剂 、 牛 奶 等 。 一 个 篮子 只 跟 一 个 用 户 相 关 ， 它 不 能 揭示 产品 之 间 有 用 的 关联 。 然 而 ， 
很 多 的 篮子 (确切 地 说 是 很 多 顾客 购买 的 产品 信息 ) 确实 可 能 告诉 我 们 哪些 产品 经 常 被 一 起 购 
买 。 例 如 ， 食 品 店 的 管理 员 会 发 现 意 大 利 面 和 意大利 面 酱 经 常 被 一 起 购买 。 这 些 信息 代表 了 联系 
共 现 事件 的 一 条 关联 规则 。 购 物 篮 分 析 回答 “如 果 一 位 顾客 购买 了 产品 A， 他 或 她 有 多 大 可 能 性 
也 会 同时 购买 产品 B?” 和 “如 果 一 位 顾客 同时 购买 了 产品 A 和 产品 B， 他 或 她 最 可 能 还 会 买 什 
么 其 他 产品 ?” 这 样 的 问题 。 

购物 篮 分 析 可 以 被 食品 店 管理 员 用 于 地 板 放置 、 存 货 控制 、 市 场 营 销 和 广告 活动 等 。 如 果 你 
使 用 amazon. com， 你 很 可 能 已 经 对 购物 篮 分 析 和 关联 规则 很 熟悉 了 。 当 你 购买 一 本 书 〈 例 如 Mi- 
chael Negnevitsky 的 《人 工 智 能 : 智能 系统 指南 》) 的 时 候 ，amazon. com 会 向 你 推荐 一 些 跟 这 本 
书 经 常 一 起 购买 的 产品 。 这 些 推荐 基于 一 条 简单 的 关联 规则 :“ 购 买 了 产品 A 的 顾客 很 可 能 也 会 
购买 产品 BQ” 

购物 篮 分 析 如 何 工作 

购物 篮 分 析 总 是 从 事务 开始 。 每 一 个 事务 包含 一 次 购买 的 一 个 或 一 组 产品 。 注 意 ， 我 们 通常 
不 关注 产品 的 数量 和 价格 。 表 10. 4 代表 了 7 个 事务 的 集合 。 从 表 我 们 可 以 看 出 ， 面 次 和 意大利 
面 很 可 能 会 被 一 起 购买 ， 因 此 我 们 可 以 写 出 下 面 一 条 规则 : “如 果 一 位 顾客 购买 了 面 获 ， 那 么 这 
位 顾客 也 会 购买 意大利 面 。” 这 条 规则 可 以 重 写 为 更 一 般 的 形式 : 

{Sauce} — (Spaghetti) support = 57%, confidence = 80%) 

表 10.4 食品 交易 
事务 项 

Beef, Milk, Sauce, Spaghetti 
Sauce, Spaghetti 
Bread, Sauce, Spaghetti 
Cheese, Detergent, Sauce 
Bread, Detergent, Milk 
Beef, Cheese, Chicken, Milk 
Milk, Sauce, Spaghetti 


这 条 规则 说 明 有 57% 的 顾客 同时 购买 了 面 桨 和 意大利 面 ，80% WE T DEAE BUR E S dd. 
购买 意大利 面 。 支 持 度 和 置信 和 度 用 于 选择 有 效 的 关联 规则 。 

如 何 定义 一 条 关联 规则 的 支持 度 和 置信 和 度 

我 们 首先 用 数学 术语 来 定义 关联 规则 挖掘 问题 。 假 设 了 = Óh. b. oo. L|) 为 项 的 集合 ,T= 
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411 


412 
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IT, T,, +, T) 为 事务 的 集合 ， 其 中 T, C1。 则 一 条 关联 规则 可 以 写成 :; 
X—Y 
Hp, XMYARMHRA, PITER, XCI, YCIBE XNY=$。 

我 们 称 事务 T, BANE X dni X Je T, HATER, BIXCT,. 例如， 事务 | Bread, Sauce, 
Spaghetti] 包含 7 个 项 集 : {Bread}. {Sauce}, {Spaghetti} | |Bread, Sauce}, |Bread, Spaghet- 
ti} | {Sauce, Spaghetti} 和 |Bread, Sauce, Spaghetti] 本 身 。 

关联 规则 XY 的 支持 度 (support) 定义 为 和 YY 两 个 项 集 的 并 在 事务 集 T 中 出 现 的 概率 : 


support ( XY) = Prox cot (10. 18) 


其 中 ，nxuy 为 事务 集 T 中 包含 了 和 了 两 个 项 集 的 并 的 事务 数目 ; n 是 事务 集 T 中 的 总 事务 数目 。 
如 果 支 持 度 很 低 ， 规 则 只 会 偶尔 出 现 。 在 我 们 的 例子 中 ，Sauce 和 Spaghetti 在 7 个 事务 中 共 
同 出 现 了 4 次 ， 所 以 这 条 规则 的 支持 度 是 57% 。 
关联 规则 XY 的 置信 和 度 (confidence) 定义 为 给 定式 出 现在 某 一 个 事务 后 ， 了 也 出 现在 同一 
个 事务 中 的 条 件 概率 : 





confidence (X—Y) =p (Yl X) = (10. 19) 
x 


Hp, ny 表示 为 事务 集 7 中 包含 项 集 革 的 事务 数目 。 

置信 度 是 规则 准确 率 的 一 个 度量 。 在 我 们 的 例子 中 ,在 5 位 购买 了 Sauce 的 顾客 中 ， 有 4 位 
也 同时 购买 了 Spaghetti。 因 此 ， 这 条 规则 的 置信 和 度 是 80% 。 通 常 我 们 会 选择 那些 具有 更 高 置信 和 度 
和 更 低 支持 度 的 关联 规则 。 

关联 规则 挖掘 的 目标 是 发 现 那些 支持 度 和 置信 和 度 分 别 高 于 或 等 于 用 户 指定 的 最 小 支持 度 和 
最 小 置信 和 度 的 关联 规则 。 例 如 ， 如 果 我 们 指定 最 小 支持 度 =25% 且 最 小 置信 和 度 =75% ， 我 们 将 会 
得 到 下 列 有 效 的 规则 : 


Rule 1: {Sauce} — {Spaghetti} — [support = 5796, confidence = 80%] 
Rule 2: [Spaghetti] ^ {Sauce} [support = 5796, confidence = 10096] 
Rule 3: {Beef} — (Milk) [support — 2996, confidence — 10096] 


显然 ， 我 们 可 以 生成 更 多 的 关联 规则 。 通 常情 视 下， 规则 数 随 着 项 数 指数 增长 。 假 设 项 数 为 m, 
我 们 可 以 计算 所 有 可 能 的 关联 规则 数 R(Tan et al. , 2006) : 
R-3"-2"' 4] (10. 20) 

因此 ， 仅 仅 我 们 的 例子 中 所 使 用 的 8 个 项 就 能 生成 6050 条 规则 。 考 虑 到 典型 的 超市 的 库存 中 一 
般 有 大 约 20000 种 不 同 的 项 ， 挖 掘 关联 规则 将 会 出 现 很 大 的 问题 。 实 际 上 ， 我 们 不 需要 生成 一 个 
完整 的 规则 集 ， 因 为 大 多 数 规则 具有 很 低 的 支持 度 和 置信 度 。 我 们 需要 的 是 一 个 能 够 将 关联 规 
则 数目 降低 到 一 个 可 操作 水 平 的 鲁 棒 算法 。Apriori 算法 是 这 类 算法 的 一 个 很 好 的 例子 (Berry and 
Linoff, 2004; Tan et al. , 2006) 。 它 已 经 被 应 用 在 大 多 数 关联 规则 挖掘 的 商业 产品 中 。 

什么 是 Apriori 算法 

Apriori 算法 是 最 先 用 来 解决 关联 规则 数目 指数 级 增长 问题 的 算法 之 一 。 然 而 ， 在 讨论 Apriori 
算法 之 前 ， 我 们 首先 需要 考虑 频繁 (RAK) 项 集 的 概念 。 

一 个 有 mm 个 项 的 数据 集 可 以 生成 2” -1 个 项 集 。 在 大 多 数 实践 应 用 中 , m 往往 很 大 ， 因 而 项 
集 的 搜索 空间 会 变 得 不 可 操作 。 所 以 ， 我 们 需要 一 个 修剪 搜索 空间 的 策略 。 这 个 策略 基于 频繁 项 
集 的 概念 。 一 个 项 集 被 称 为 是 频繁 的 ， 如 果 它 在 事务 集中 出 现 的 次 数 超过 了 一 个 指定 的 最 小 支 
持 度 。 如 果 一 个 项 集 是 频繁 的 ， 那 么 它 的 所 有 子 集 必然 也 是 频繁 的 。 这 个 性 质 称 为 Apriori 性 质 。 
相反 ， 如 果 一 个 项 集 是 不 频繁 的 ， 那 么 它 的 所 有 超 集 必然 都 是 不 频繁 的 。 

为 了 说 明 频 繁 项 集 的 概念 ， 我 们 来 考虑 图 10. 31 Ree. RE, ORES 


第 10 章 数据 挖掘 和 知识 发 现 * 273 


iA,B,C,D| 构建 ( 空 项 集 不 包含 在 内 ) 。 频 繁 1 - 项 集 位 于 栅 格 的 最 上 层 ， 最 大 的 频繁 -4 项 集 
位 于 棚 格 的 最 底层 。 图 中 的 线 表示 项 集 - 子 项 集 关 系 。 如 果 一 个 项 集 是 频繁 的 ， 那 么 在 任意 包含 
该 项 集 的 路 径 上 ， 位 于 该 项 集 上 方 的 所 有 子 项 集 都 是 频繁 的 。 例 如 ， 如 果 项 集 [A,B,C] 是 频 
繁 的 ， 那 么 它 的 所 有 子 集 [A,B], [A,C], {B,C}, IA], IBI 和 [C] 必然 也 都 是 频繁 的 。 
这 称 为 支持 度 的 单调 性 (或 向 上 封闭 性 ) 。 

然而 ， 如 果 一 个 项 集 是 不 频繁 的 ， 那 么 在 任意 包含 该 项 集 的 路 径 上 ， 位 于 该 项 集 下 方 的 所 有 
超 集 都 是 不 频繁 的 。 这 称 为 支持 度 的 反 单调 性 (或 向 下 封闭 性 )。 如 图 10.31 所 示 ， 一 旦 某 个 项 
集 被 发 现 是 不 频繁 的 ， 那 么 该 项 集 下 的 整个 子 图 都 可 以 被 剪 梳 。 这 被 称 为 基于 支持 度 的 前 枝 。 
Aprior 算法 利用 基于 支持 度 的 剪 枝 来 控制 项 集 的 搜索 空间 的 增长 。 





频繁 项 集 
非 频繁 项 集 
图 10.31 项 集 [A,B,C,D] Re 
关联 规则 挖掘 分 为 两 个 步 邓 0。 在 第 一 步 中 ，Aprior 算法 找 出 所 有 的 频繁 项 集 ; 在 第 二 步 中 ， 
它 从 第 一 步 找 出 的 频繁 项 集中 生成 高 置信 度 的 规则 。 
为 了 演示 Apriori 算法 的 运行 机 制 ， 我 们 参考 表 10.4， 计 算 所 有 非 空 项 集 的 支持 度 。 结 果 如 
表 10. 5 所 示 。 所 有 子 集中 的 项 以 字母 顺序 (也 称 为 字典 顺序 ) 保存 。 





表 10.5 表 10.4 中 包含 的 所 有 非 空 项 集 的 支持 度 








项 集 项 集 
| Beef] 29% { Chicken, Milk} 14% 
| Bread] 2996 { Detergent, Milk} 14% 
| Cheese] 2996 | Detergent, Sauce| 1496 
| Chicken} 1496 | Milk, Sauce] 29% 
| Detergent | 29% | Milk, Spaghetti} 29% 
| Milk} 57% | Sauce, Spaghetti} 57% 
| Sauce} 71% 
| Spaghetti | 57% { Beef, Cheese, Chicken} 14% 
| Beef, Cheese, Milk} 14% 
| Beef, Cheese] 14% | Beef, Chicken, Milk} 14% 
| Beef, Chicken} 14% | Beef, Milk, Sauce} 14% 


| Beef, Milk} 2996 | Beef, Milk, Spaghetti} 14% 








414 
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( 续 ) 

















项 集 








| Beef, Sauce! | Beef, Sauce, Spaghetti} 1496 
| Beef, Spaghetti] 14% | Bread, Detergent, Milk} 14% 
{ Bread, Detergent} 14% | Bread, Sauce, Spaghetti} 14% 
| Bread, Milk} 14% | Cheese, Chicken, Milk} 14% 
| Bread, Sauce} 14% | Cheese, Detergent, Sauce} 14% 
| Bread, Spaghetti} 14% { Milk, Sauce, Spaghetti} 29% 
| Cheese, Chicken} 14% 

| Cheese, Detergent} 14% | | Beef, Cheese, Chicken, Milk} 1496 
{ Cheese, Milk} 14% | Beef, Milk, Sauce, Spaghetti] 1496 





| Cheese, Sauce} 


生成 频繁 项 集 需 要 多 次 遍历 事务 数据 集 7。 在 第 一 次 遍历 中 ，Apriori 算法 产生 所 有 的 频繁 
1 -项 集 : {Beef}. {Bread}, {Cheese} | {Chicken}, {Detergent}, {Milk}, {Sauce} 和 { Spa- 
ghetti) 。 对 所 有 的 频繁 1 - 项 集 进行 支持 度 计 数 后 ， 项 集 | Chicken} 被 丢弃 ， 因 为 它 的 支持 度 低 
于 指定 的 25% 的 最 小 支持 度 。 

在 第 二 次 遍历 中 ，Apriori 算法 利用 种 子 集 (前 一 步 发 现 的 频繁 项 集 的 集合 ) 来 生成 候选 频繁 
2 -项 集 。 每 一 个 候选 项 集 通 过 连接 种 子 集中 的 两 个 项 集 产 生 。 在 我 们 的 例子 中 ， 生 成 了 下 列 候 
选 频繁 2 - 项 集 : 


(Beef, Bread}, |Beef, Cheese], |Beef, Detergent}, (Beef, Milk], 

{Beef, Sauce}, (Beef, Spaghetti], (Bread, Cheese], |Bread, Detergent}, 
(Bread, Milk], (Bread, Sauce}, (Bread, Spaghetti], (Cheese, Detergent}, 
{Cheese, Milk}, (Cheese, Sauce}, (Cheese, Spaghetti}, 

[Detergent, Milk}, (Detergent, Sauce}, (Detergent, Spaghetti], 

(Milk, Sauce}, (Milk, Spaghetti), (Sauce, Spaghetti} 


我 们 一 共 得 到 21 条 候选 项 集 ; 然而 ， 其 中 只 有 4 条 项 集 是 频繁 的 : 

(Beef, Milk], (Milk, Sauce}, (Milk, Spaghetti}, (Sauce, Spaghetti} 

在 第 三 步 和 所 有 后 续 步 又 中 ，Apriori 算法 连接 两 个 项 集 ， 如 果 这 两 个 项 集 只 有 一 个 项 不 同 。 
fniün, |Beef , Milk} 会 和 其 他 包含 Beef 或 Milk 的 频繁 2 - 项 集 进行 连接 。 结 果 ， 我 们 将 会 得 到 
下 列 候选 频繁 3 - 项 集 : 

{Beef, Milk, Sauce}, (Beef, Milk, Spaghetti), (Milk, Sauce, Spaghetti} 

并 不 是 所 有 上 述 候选 频繁 3 - 项 集 都 是 频繁 的 。 实 际 上 ， 一 个 候选 项 集 只 有 当 它 的 所 有 子 集 出 现 
在 之 前 步骤 的 种 子 集中 时 才 是 频繁 的 。 因 为 上 述 第 一 个 项 集 的 子 集 | Beef , Sauce] 和 第 二 个 项 
集 的 子 集 | Beef , Spaghetti] 都 不 在 种 子 集中 ， 这 两 个 候选 项 集 都 会 被 丢弃 。 因 此 ， 在 第 三 个 步 
之 后 ， 只 剩 下 一 个 频繁 3 -项 集 : 


(Milk, Sauce, Spaghetti] 

注意 ， 对 事务 数据 的 遍历 次 数 等 于 最 大 项 集 的 大 小 。 在 实践 中 ， 我 们 将 这 个 大 小 限制 在 一 些 
少数 项 上 ， 因 为 很 长 的 关联 规则 很 难 被 理解 和 使 用 。 

Apriori 算法 如 何 生成 关联 规则 

找 出 所 有 的 频繁 项 集 以 后 ， 关 联 规 则 的 生成 就 很 直接 了 。 

任何 一 个 至 少 包含 两 个 项 的 项 集 了 都 可 以 划分 成 两 个 非 空 的 子 集 王 和 (Y - X), WRK X 
ATR (Y-X) 的 支持 度 的 比率 大 于 或 等 于 用 户 指定 的 最 小 置信 和 度 ， 那 么 就 可 以 产生 一 条 规则 
X (XCY): 


support (Y) o. 
IF support (X) z minimum confidence, THEN X— (Y—X) (10. 21) 


第 10 章 ”数据 挖 据 和 知识 发 现 ”275 


注意 ， 因 为 项 集 Y 和 XX 的 支持 度 在 频繁 项 集 生成 阶段 已 经 被 发 现 ， 因 此 不 需要 再 一 次 遍历 事务 
数据 集 。 

为 了 说 明 关 联 规则 是 怎样 生成 的 ， 我 们 考虑 一 个 频繁 2 -项 集 Y= (Beef , Milk}, (ithe) 
置信 和 度 是 75% 。 频 繁 项 集 Y 包 含 两 个 非 空 的 子 集 : X, {Beef} MX, {Mik}, MFFRX,, RN 
得 到 

support(Y) _ support(|Beef,Milk| ) 29 — 
support(Xl)  support( | Milk} ) 29 — 





这 表示 关联 规则 

X1—(Y - XL) RF | Beef| — | Milk} 
的 置信 度 是 100% ， 与 我 们 采用 公式 (10.19) 计算 的 结果 一 样 。 类 似 地 ， 对 于 第 二 个 子 集 
X,, A 


support(Y) _ support( | Beef, Milk] ) 29 -0.5 
support(X2) | suppot(|Mük|) | 57 ~ 





这 表示 关联 规则 

X2 (Y-X2) or {Milk} — | Beef} 
只 有 50% ， 因 此 它 不 是 一 个 有 效 〈 高 置信 度 ) 的 规则 ， 需 要 被 丢弃 。 

一 个 完整 的 关联 规则 集合 如 表 10. 6 所 示 。 让 我 们 来 检查 这 些 规则 。 我 们 发 现 ， 跟 支持 度 不 

同 ， 置 信 度 并 不 满足 单调 性 ; 也 就 是 说 ， 规 则 XY 的 置信 度 可 能 大 于 、 等 于 和 小 于 另 一 个 规则 
sy 的 置信 和 度 ， 其 中 x*CX 且 yCY。 Bii, |Mik, Sauce} 一 ”| Spaghetti} 是 一 条 高 置信 度 的 规 
Wi, 但 是 {Milk} — {Spaghetti} 置信 和 度 却 很 低 ; {Sauce} — | Milk, Spaghetti! 是 一 条 低 置 信 
度 规则 ,但 是 [Sauce] — Spaghetti] 置信 度 却 很 高 。 

表 10.6 从 食品 交易 事务 中 生成 的 关联 规则 








大 的 项 集 关联 规则 BE 

| Beef, Milk] {Beef} — { Milk} 100% 
{Milk} 一 | Beef} 50% 

| Milk, Sauce} {Milk} — {Sauce} 50% 
{Sauce} — {Milk} 40% 

{ Milk, Spaghetti | {Milk} 一 | Spaghetti} . 50% 
{Spaghetti} 一 | Milk} 50% 

| Sauce, Spaghetti] {Sauce} — {Spaghetti} 8096 
{Spaghetti} — | Sauce} 100% 

{ Milk, Sauce, Spaghetti} { Milk, Sauce} — | Spaghetti! 100% 
| Milk, Spaghetti} — {Sauce} 100% 

| Sauce, Spaghetti} — {Milk} 50% 

[Milk] — |Sauce, Spaghetti} 50% 

{Sauce} — {Milk, Spaghetti} 40% 

| Spaghetti} — {Milk, Sauce} 50% 


另 一 方面 ， 从 同一 频繁 集中 生成 的 规则 确实 满足 置信 度 的 反 单 调 性 ; 也 就 是 说 ， 如 果 规 则 
Xo (Y-X) 不 满足 置信 和 度 的 要 求 ， 那 么 任意 规则 * 一 (了 -x)， 其 中 * 是 的 子 集 ， 也 不 满足 
置信 度 要 求 。 例 如 ， 如 果 规 则 | Sauce, Spaghetti} 一 {Milk} 置信 度 很 低 ， 那 么 规则 | Sauce} 
一 {Milk} 和 [Spaghetti] — {Milk} 的 置信 度 也 很 低 。 实 际 上 ， 这 也 是 从 同一 频繁 项 集中 生成 
的 任意 关联 规则 集 所 满足 的 一 般 规律 (Tan et al. , 2006) 。 将 规则 的 置信 和 度 表示 为 


tye = support (Y) 
confidence (X {Y -XI) ~ support (X) 
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和 
confidence (x— |Y -x]) = Seen 
因为 x 是 X 的 子 集 ， 则 support (x) 一 suppor (X), ， 因 此 有 
confidence (x— |Y -x|) sxconfidence (X— |Y - X1) 

一 般 情 况 下 ， 每 一 个 上 - 项 集 可 以 生成 2 -2 条 关联 规则 。 例 如 ， 一 个 4 - 项 集 |A, B, C, 
D) 可 以 产生 14 条 关联 规则 。 这 些 规 则 可 以 表示 成 图 10. 32 所 示 的 栅 格 。 可 以 看 出 ， 栅 格 有 5 个 
(k+1) 层 。 第 0 层 只 有 一 条 规则 ， 规 则 的 前 项 是 一 个 4 - 项 集 ， 后 项 为 空 。 第 1 层 包含 1 - 项 集 
后 项 的 规则 ， 第 2 层 是 2 -项 集 后 项 ,第 3 层 是 3 -项 集 后 项 。 最 后 一 层 ， 也 即 第 4 层 ， 只 包含 
一 条 单独 的 前 项 为 空 ， 后 项 为 4- 项 集 的 规则 。 


(A.B,C,Dj—19j 


Coi) 高 置信 度 规则 


t-o) 低 置信 度 规则 





图 10.32 由 项 集 (A, B, C, D]. 生成 的 关联 规则 栅 格 


根据 置信 和 度 的 反 单 调 性 质 ， 如 果 顶 格 中 的 一 条 规则 置信 度 很 低 ， 那 么 我 们 就 可 以 删除 由 这 
条 规则 生成 的 整个 子 图 。 例 如 ， 如 果 我 们 发 现 规则 (A, B] — (C, D 置信 度 很 低 ， 所 有 后 件 
中 包含 (IC, D) 的 规则 置信 度 都 很 低 ， 可 以 被 丢弃 ， 如 图 10. 32 所 示 。 

Apriori 算法 首先 生成 后 件 中 包含 1 - 项 集 的 规则 。 然 后 计算 每 一 条 规则 的 置信 度 ， 置 信 度 低 
的 规则 被 删除 。 高 置信 和 度 的 规则 被 用 来 产生 新 的 候选 规则 。 这 种 生成 - 测试 过 程 是 很 直接 和 高 
效 的 。 

最 后 需要 注意 一 点 ， 购 物 篮 分 析 的 主要 困难 是 我 们 会 发 现 很 多 实际 价值 很 低 的 规则 。 因 此 ， 
最 重要 的 是 要 选择 正确 的 项 集 。 

超市 中 的 所 有 项 遵循 分 类 学 ， 根 据 产 品 代码 形成 的 层次 分 类 。 分 类 学 总 是 从 最 一 般 的 产品 
开始 ， 然 后 沿 着 详细 层次 上 升 。 因 此 ， 通 过 使 用 更 高 层次 的 分 类 ， 我 们 可 以 显著 地 减少 频繁 项 集 
的 数目 ， 如 用 “冷冻 蔬菜 ”来 代替 “冷冻 吏 豆 ”和 “冷冻 胡萝卜 ”等 。 同时, 一般 化 的 项 集 拥 
有 在 常规 事务 中 一 样 多 的 支持 度 。 因 此 ,什么 是 恰当 的 一 般 化 层次 ? 这 依赖 于 项 产生 可 行 性 结果 的 
重要 程度 。 一 个 常用 的 方法 是 ， 除 了 我 们 感 兴趣 的 项 以 外 ， 对 其 他 所 有 项 都 进行 一 般 化 处 理 。 

购物 篮 分 析 是 一 种 有 用 的 间接 数据 挖掘 的 技术 ， 特 别 是 在 零售 业 中 。 它 的 吸引 力 来 自 其 清 
晰 的 结果 表示 方式 : 关联 规则 。 如 今 ， 关 联 规 则 还 被 用 于 Web 使 用 挖掘 等 很 多 其 他 领域 (Liu, 
2007; Markov and Larose, 2007) 。 


10. 8 
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小 结 


本 章 我 们 对 数据 挖掘 作 了 一 个 概述 ， 以 及 讨论 了 将 数据 转换 为 知识 的 主要 技术 。 首 先 ， 我 们 
笼统 地 定义 了 数据 挖掘 并 解释 了 在 大 型 数据 库 中 进行 数据 挖掘 和 知识 发 现 的 过 程 。 我 们 介绍 了 
一 些 统计 学 方法 ， 包 括 主 成 分 分 析 ， 同 时 讨论 了 它们 的 限制 。 然 后 我 们 展示 了 SQL 语言 在 关系 
”数据 库 中 的 应 用 ， 以 及 介绍 了 数据 仓库 和 多 维 数据 分 析 。 最 后 ， 我 们 讨论 了 最 流行 的 数据 挖掘 工 
具 一 一 决策 树 和 购物 篮 分 析 。 

本 章 的 主要 内 容 有 : 


现代 社会 是 基于 信息 的 。 大 多 数 信息 以 事实 、 观 察 和 测量 等 原始 形式 存在 ， 构 成 了 我 们 
收集 和 存储 的 数据 。 随 着 计算 能 力 代 价 持续 下 降 ， 累 积 的 数据 量 在 以 指数 级 增长 。 传 统 
数据 库 并 不 是 为 了 执行 有 意义 的 分 析 而 设计 ， 而 这 些 正 是 数据 挖掘 来 执行 的 。 

数据 挖掘 就 是 从 原始 数据 进行 知识 提取 。 它 还 可 以 被 定义 为 对 大 规模 数据 的 探索 和 分 析 ， 
以 发 现 有 意义 的 模式 和 规则 。 数 据 挖掘 的 终极 目标 是 发 现 知识 。 

数据 控 气 是 一 个 实践 话题 ， 经 常 被 视 为 “什么 都 包括 ”的 东西 ， 包 括 从 统计 方法 和 查询 
工具 到 复杂 的 机 器 学 习 等 技术 。 数 据 挖 据 不 是 一 个 单一 的 方法 ， 而 是 不 同 工 具 和 技术 的 
异 构 组 合 。 这 些 工 具 和 技术 包括 : 统计 方法 和 数据 可 视 化 工具 、 查 询 工 具 、 联 机 分 析 处 
理 、 决 策 树 、 关 联 规则 、 神 经 网 络 和 神经 - 模糊 系统 。 

虽然 数据 挖掘 仍然 是 一 个 很 新 的 、 不 断 发 展 的 领域 ， 它 已 经 拥有 很 多 不 同 的 应 用 。 在 直 
销 领 域 ， 数 据 挖 据 被 用 来 确定 最 有 可 能 购买 某 些 产品 和 服务 的 人 。 在 趋势 分 析 中 ， 数 据 
挖掘 被 用 来 确定 市 场 中 的 趋势 ， 例 如 通过 对 证 券 市 场 建 模 。 在 欺诈 检 测 中 ， 数 据 挖掘 被 
用 来 识别 保险 理赔 、 移 动 电话 和 信用 卡 交易 中 最 有 可 能 的 欺诈 行为 。 

数据 挖掘 的 成 功 经 常 依赖 于 数据 挖掘 工具 的 选择 。 对 数据 的 初步 调查 可 以 帮助 我 们 理解 
数据 的 特定 特征 ， 从 而 选择 合适 的 数据 分 析 技 术 。 这 个 初步 的 过 程 称 为 数据 探索 ， 包 括 
汇总 统计 、 可 视 化 、 主 成 分 分 析 、 查 询 工具 和 OLAP, 

数据 可 视 化 可 以 定义 为 一 种 以 图 形 或 表格 形式 表示 信息 的 方法 。 信 息 被 可 视 化 以 后 ， 我 
们 就 可 以 解释 和 理解 它 了 。 可 视 化 在 数据 探索 的 初始 阶段 是 极为 重要 的 。 图 形 化 的 数据 
表示 方法 包括 点 图 、 茎 叶 图 、 直 方 图 、 箱 形 图 和 散布 图 。 

虽然 数据 可 视 化 具有 很 明显 的 吸引 力 ， 高 维 数据 上 的 图 形 挖掘 却 不 能 够 很 轻易 地 完成 。 
一 种 处 理 多 维 数据 的 方法 是 降 维 。 

主 成 分 分 析 能 在 不 明显 丢失 信息 的 情况 下 降低 数据 维度 。PCA 是 这 一 种 将 大 量 相关 变量 
转换 为 少量 不 相关 变量 的 数学 过 程 。 在 数据 挖 所 中 ，PCA 常常 被 用 作 一 种 数据 预 处 理 技 
术 。 它 让 我 们 得 到 一 个 远 远 小 于 原始 数据 集 的 新 数据 集 ， 同 时 产生 一 样 〈 或 者 几乎 一 
样 ) 的 分 析 结果 。 

PCA 等 统计 方法 往往 作为 数据 探索 的 第 一 步 ， 数 据 库 查 询 和 OLAP 则 代表 了 一 些 为 了 处 
理 现代 组 织 积累 的 大 量 数据 而 特别 开发 的 复杂 工具 。 

数据 库 查询 可 以 看 做 是 数据 挖掘 的 基本 形式 。 查 询 确实 为 用 户 提供 了 向 关系 数据 库 提 问 
和 获取 满足 特定 条 件 的 数据 子 集 的 机 会 。 然 而 ， 数 据 库 查 询 是 基于 假设 的 一 一 用 户 必须 
提出 正确 的 问题 。 

OLAP 使 我 们 可 以 对 存储 在 数据 仓库 中 的 数据 进行 分 析 。OLAP 系统 通过 运行 一 个 数据 立 
方 体 来 支持 复杂 的 多 维 查 询 。 用 户 可 以 增长 或 降低 详细 层次 ， 并 且 可 以 从 多 种 不 同 的 视 
角 来 观察 数据 。OLAP 是 一 种 需要 用 户主 动 参与 的 用 户 直 接 (user-direct) 的 数据 分 析 
工具 。 
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。 数据 挖掘 最 流行 的 工具 之 一 是 决策 树 ， 一 个 可 以 使 用 一 种 类 似 树 的 结构 来 描述 数据 集 的 
工具 。 决 策 树 特别 适合 解决 分 类 问题 一 一 追踪 树 中 的 任意 路 径 是 很 容易 的 。 产 生 清 晰 的 
规则 集 的 能 力 使 得 决策 树 对 业务 专家 尤其 具有 吸引 力 。 

。 另 一 种 数据 挖掘 的 流行 工具 是 购物 篮 分 析 。 它 能 回答 “如 果 一 位 顾客 购买 了 产品 A， 他 
或 她 有 多 大 可 能 性 也 会 同时 购买 产品 B?” 和 “如 果 一 位 顾客 同时 购买 了 产品 A 和 产品 
B， 他 或 她 最 可 能 还 会 买 什 么 其 他 产品 ?” 这 样 的 问题 。 购 物 篮 分 析 的 吸引 力 来 自 它 使 用 
关联 规则 这 种 清晰 的 结果 表示 方式 。 购 物 篮 分 析 经 常 被 用 作 一 种 间接 数据 挖掘 的 技术 ， 
特别 是 在 零售 业 中 。 


复习 题 


— 


. 什么 是 数据 挖掘 ? 描述 数据 挖掘 和 知识 发 现 的 总 过 程 。 举 例 说 明 数 据 控 据 如 何 应 用 于 实践 ? 


什么 是 数据 挖掘 工具 ? 


2. 什么 是 数据 探索 ? 给 出 数据 可 视 化 的 定义 。 举 一 些 日 常生 活 中 图 形 数据 表示 方法 的 例子 。 


Uu 


. 什么 是 散布 图 ? 如 何 定义 线性 回归 模型 和 确定 回归 因子 ? 解释 离 群 值 是 如 何 影 响 线性 回归 模 


型 的 。 什 么 是 鲁 棒 回 归 ? 


. 什么 是 主 成 分 分 析 ? 举例 说 明 PCA 是 如 何 工作 的 ? 为 了 捕获 给 定数 据 集中 包含 的 大 部 分 信息 ， 


如 何 决定 需要 保留 的 主 成 分 数目 ? 


. 什么 是 数据 库 管理 系统 ? 什么 是 关系 数据 库 ? 定义 关系 数据 库 Travel. agency 中 的 表 。 
. 什么 是 查询 ? 给 出 一 些 基 本 SQL 查询 的 例子 。 数 据 库 查 询 和 数据 挖掘 的 区 别 是 什么 ? 
. 什么 是 数据 仓库 ? 数据 仓库 的 主要 特征 是 什么 ? 为 什么 我 们 需要 将 数据 从 操作 型 数据 库 管 理 


系统 复制 到 数据 仓库 中 ? 


. 什么 是 数据 立方 体 和 星 网 模型 ? 举 一 个 三 维 数据 立方 体 的 例子 并 将 其 转换 为 表格 形式 。 
- 什么 是 联机 分 析 处 理 ? OLAP 如 何 实 现 不 同 角度 的 数据 视图 ? OLAP 支持 一 些 什么 操作 ? 


10. 什么 是 决策 树 ? 什么 是 因 变 量 和 预测 因子 ? 什么 是 基尼 系数 ? 决策 树 是 如 何 选择 预测 因 


子 的 ? 


11. 数据 挖掘 中 ， 决 策 树 方法 的 优点 和 缺点 是 什么 ? 为 什么 决策 树 对 业务 专家 特别 具有 吸引 力 ? 
12. 什么 是 购物 篮 分 析 ? 什么 是 关联 规则 ? 举 一 些 关联 规则 的 例子 。 给 出 支持 度 和 置信 度 的 定义 。 
13. 什么 是 频繁 项 集 ? HMR {A, B, C, D, E) 构造 一 个 项 集 栅 格 ， 并 解释 支持 度 的 单调 性 和 


反 单调 性 概念 。 


14. 考虑 表 10.7 所 示 的 5 个 事务 。 利 用 Aprior 算法 找 出 频繁 项 集 并 生成 关联 规则 。 假 设 最 小 支 


持 度 是 60% ,最 小 置信 度 是 80% 。 
表 10.7 一 个 购物 篮 事务 的 例子 


事务 项 
Bread, Cheese, Orange Juice, Sugar 





1 

2 Bread, Milk 

3 Beef, Cheese, Milk, Orange Juice 
4 Bread, Cheese, Milk, Orange Juice 
5 Beef, Bread, Cheese, Milk 
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本 术语 表 使 用 如 下 缩写 形式 : 
es = expert systems (专家 系统 ) 
fl = fuzzy logic ( IE $8.) 
nn = neural networks (神经 网 络 ) 
ec = evolutionary computation (进化 计算 ) 

dm = data mining (数据 挖掘) 
ke = knowledge engineering (知识 工程 ) 

Action potential (动作 电位 ) ”生物 神经 元 通过 长 距离 的 传递 也 不 会 减弱 强度 的 输出 信号 ,也 称 
作 神 经 脉冲 。 当 出 现 动 作 电 位 时 ， 神 经 元 就 “发 出 一 个 脉冲 ”。[ nn] 

Activation function (激活 函数 ) ”将 神经 元 的 净 输 入 映射 到 输出 的 数学 函数 。 通 常 使 用 的 激活 函 
KA: 阶 跃 、 信 号 、 线 性 和 S 形 函数 。 参 见 Transfer function. (传递 函数 ) [nn] 

Adaptive learning rate ( 自 适 应 学 习 速 率 ) 根据 训练 中 的 误差 的 变化 而 调节 的 学 习 速 度 。 如 果 
当前 周期 误差 大 于 上 一 周期 值 的 预先 指定 倍数 ， 学 习 速 度 将 会 降低 。 但 是 如 果 小 于 前 一 次 
的 值 ， 学 习 速 度 则 会 增加 。 使 用 自 适 应 学 习 速 度 使 多 层 感 知 器 的 学 习 速 率 加 快 。[ nn] 

Aggregate set (RAK) 通过 聚合 获得 的 模糊 集 。[f] 

Aggregation (R) 模糊 推理 的 第 三 步 ; 把 已 切割 或 缩放 的 所 有 模糊 规则 后 项 的 隶属 函数 合并 
进 一 个 模糊 集 以 用 于 每 个 输出 变量 的 过 程 。[ 有] 

Algorithm (算法 ) 用 于 解决 问题 的 指令 的 集合 。 

AND ( 逻辑 操作 符 ) 在 产生 式 规则 中 使 用 时 ， 表 示 所 有 用 AND 连接 的 前 项 为 真 时 ， 规 则 后 项 
AE. [es] 

Antecedent (前 项 ) : 规则 中 下 部 分 的 条 件 语句 ， 也 称 为 前 提 。[ es] 

A-part-of: 连接 代表 组 件 的 子 类 和 代表 整体 的 父 类 的 弧 (也 称 作 “部 分 -整体 ”) V PU, engine 
is a-part-of a car, [es] 

Approximate reasoning (近似 推理 ) 不 需要 产生 式 规则 的 正 部 分 与 数据 库 中 的 数据 精确 匹配 的 
推理 。[es] ` 

Apriori algorithm (Apriori 算法 ) 一 种 关联 规则 学 习 算法 。 它 在 大 型 事物 数据 库 上 运行 (例如 顾 
客 购买 的 产品 ) [dm] 

Arc (W) 在 表示 相 邻 结 点 连接 特点 的 语义 网 络 中 ， 结 点 之 间 带 方向 标识 的 标识 的 连接 。 最 常 
SLAY arc 就 是 is-a 和 a-part-of。[ es] 

Architecture (体系 结构 ) 参见 拓扑 Topology, [nn] 

Artificial Intelligence (Al) 人 工 智能 : 计算 机 的 一 个 领域 ， 该 领域 关注 智能 机 器 的 开发 ， 如 果 机 
器 的 行为 在 人 类 身上 也 能 观察 到 ， 就 认为 该 机 器 是 智能 的 。 

Artificial Neural Network (ANN) 人 工 神 经 网 络 : 一 个 信息 处 理 范例 ， 它 受 人 脑 的 结构 和 功能 的 
启发 而 产生 。ANN 包括 大 量 称 作 神 经 元 的 简单 而 高 度 互 连 的 处 理 器 ， 它 类 似 于 大 脑 的 生物 
神经 元 。 神 经 元 通过 把 信和 号 从 一 个 神经 元 传递 到 另 一 个 神经 元 的 有 权重 的 链接 相连 。 在 一 
个 生物 神经 网 络 中 ， 学 习 涉 及 调整 突 触 ，ANN 通过 不 断 调 整 权重 来 学 习 。 这 些 权重 存储 了 
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解决 某 个 问题 所 需 的 知识 。[ nn] 

Assertion (WE) 在 推理 中 得 出 的 事实 。[ es] 

Association rule (关联 规则 ) ”表示 大 型 数据 库 中 属性 同时 出 现 关 系 (KK) 的 规则 。 它 表示 不 
同属 性 如 何 同时 出 现 。 关 联 规则 用 于 购物 篮 分 析 [dm], 

Associative memory (关联 记忆 ) 记忆 的 一 个 类 型 ， 允 许 我 们 把 事物 关联 起 来 ， 例 如， 当 我 们 
听 到 一 段 音乐 时 ， 我 们 能 回想 起 一 个 完整 的 感觉 体验 ， 包 括 声音 和 情景 。 我 们 甚至 能 在 不 熟 
悉 的 环境 中 认 出 熟悉 的 脸 。 当 输入 一 个 相似 的 模式 时 ， 相 关 ANN 会 想起 最 为 接近 的 已 存储 
的 训练 模式 。Hopfield 网 络 就 是 一 个 相关 ANN 的 例子 。[ mn ] 

Aattribute (属性 ) 对 条 的 特性 。 例 如 , “计算 机 ”对 象 可 能 有 “模型 ”、“ 处 理 器 ”、“ 内 存 ” 
和 “成 本 ”等 属性 。[ es] 

Axon ( 轴 突 ) ”生物 神经 元 的 一 根 很 长 的 枝 ， 它 能 从 细胞 中 输出 信号 (动作 电位 )。 一 个 轴 突 可 
能 长 达 一 米 。 在 ANN 中 ， 轴 突 由 神经 元 输出 来 模拟 。[ nn] 

Back-propagation ( RAER) 参见 反 向 传播 算法 。[ nn] 

Back-propagation algorithm ( 反 向 传播 算法 ) 有 监督 学 习 最 常用 的 方法 。 该 算法 有 两 个 阶段 。 
首先 ， 向 输入 层 输入 一 个 训练 输入 模式 。 网 络 逐 层 传送 输入 模式 直到 输出 层 产 生 输出 模式 
为 止 。 如 果 输 出 模式 与 预期 输出 不 一 致 ， 则 计算 误差 ,然后 从 输出 层 向 输入 层 传送 误差 。 在 
传送 误差 时 调整 权重 的 值 。 参 见 反 向 传播 。[ nn] 

Backward chaining { 后 向 链接 ) 一 个 推理 技术 ， 从 假设 结论 (一 个 目标 ) 开始 向 后 推理 ， 将 规 
则 库 中 的 规则 和 数据 库 中 的 事实 相 匹 配 直 到 目标 或 被 证 实 为 正确 或 被 证 实 为 错误 。 也 被 称 
作 目 标 驱 动 推理 。[ es] 

Bayesianreasoning ( 贝 叶 斯 推理 ) 专家 系统 中 不 确定 性 管理 的 一 种 统计 方法 。 其 基于 论据 的 贝 
叶 斯 规则 在 系统 中 传送 不 确定 性 。[ es] 

Bayesian rule ( 贝 叶 斯 规则 ) ”一 种 统计 方法 ,根据 新 的 论据 来 更 新 与 事实 相关 的 概率 。[ es] 

Bidirectional associative memory (BAM) 双向 联想 记忆 : 模拟 关联 记忆 特征 的 一 种 神经 网 络 ， 
由 Bart Kosko 在 20 世纪 80 年 代 提 出 。BAM 把 不 同 集合 中 的 模式 相关 起 来 ， 反 之 亦 然 。 它 的 
基本 体系 结构 包括 两 个 完全 连接 的 层 一 输入 层 和 输出 层 。[mn] 

Bit (位 ) 二 进 制 数字 。 信 息 的 最 小 单位 。 存 储 在 计算 机 里 的 数据 由 位 组 成 。[ ke] 

Bit map (位 图 ) 对 行 、 列 的 点 组 成 的 图 的 描述 。 位 图 可 以 在 计算 机 中 存储 、 显 示 和 打印 。 光 扫 
描 仪 可 以 把 纸 上 的 文本 和 图 片 转换 成 位 图 。 扫 描 仪 把 每 英寸 图 像 分 成 上 百 个 像素 ， 并 把 每 
个 像素 表示 成 0 或 者 1。[ ke] 

Black box (#8) 对 用 户 来 说 是 不 透明 的 模型 ， 尽 管 模 型 能 得 出 正确 的 结果 ， 但 并 不 知道 它 的 
内 部 联系 。 神 经 网 络 就 是 黑 盒 的 一 个 例子 。 要 理解 黑 盒 的 输入 和 输出 间 的 关联 ， 可 以 使 用 灵 
敏 度 分 析 。[ ke] 

Boolean logic (布尔 逻辑 )} ”基于 布尔 代数 的 逻辑 系统 ， 以 George Boole 的 名 字 命名 。 它 处 理 两 
个 值 :“ 真 ”和 “ 假 " 。 布 尔 条 件 的 真 假 经 常用 0 和 1 RR, ORR “IR”, 代表 “ 真 ”。 

Branch (分 支 ) 决策 树 中 结 点 间 的 连接 。[ dm] 

Building block ( 构造 块 ) 给 染色 体高 度 适应 性 的 一 组 基因 。 根 据 构 造 块 假设 ， 在 一 个 染色 体 上 
结合 几 个 构造 块 可 以 找到 最 佳 解决 方案 。 

Byte (FP) 一 组 8 位 二 进 制 数字 ， 代 表 在 现代 计算 机 中 信息 的 最 小 可 寻 址 项 。 一 字 节 信息 相 
当 于 一 个 单词 中 的 一 个 字母 。1G 相当 于 1 000 000 000 (2” 或 1 073 741 824), [ke] 

C 一 个 多 用 途 的 编程 语言 ， 由 Bell 实验 室 在 UNIX 操作 系统 上 开发 。 

C++ C 语言 的 面向 对 象 的 扩展 。 
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CART (Classification and Regression Trees) 分 类 和 回归 树 : 使 用 决策 树 的 数据 挖掘 工具 。 
CART 提供 一 组 能 够 将 新 数据 用 于 预测 结果 的 规则 。CART 通过 生成 二 元 分 割 来 给 数据 记录 
分 段 。[ dm] 

Categorical data (分 类 数据 ) ”适合 少量 离散 类 别 的 数据 。 例 如 ， 性 别 〈 男 或 女 ) 或 者 婚姻 状况 
(单身 、 离 异 、 已 婚 或 者 丧偶 ) [ke] 

Centroid technique ( 质心 技术 ) “找到 称 作 质心 或 者 重心 的 点 的 逆 模 糊 化 方法 ， 而 在 该 点 的 垂 线 
能 将 聚合 集 分 割 成 两 个 相等 的 部 分 。[11] 

Certainty factor ( 确信 因子 ) ” 赋 给 事实 或 者 规则 的 数字 ， 表 示 事 实 或 者 规则 有 效 的 可 信和 度 或 者 
置信 水 平 。 参 见 置信 因子 。[ es] 

Certainty theory (确信 理论 ) . 在 基于 不 精确 推理 的 专家 系统 中 ， 管 理 不 确定 性 的 推理 。 它 使 用 
确信 因子 表示 观察 到 某 个 事件 的 假设 的 可 信和 度 。[ es] 

Child (FR) 参见 后 代 (Offspring) [ec] 

Child ( 子 结 点 ) ”在 决策 树 中 ， 子 结 点 就 是 由 树 中 的 上 一 层 结 点 通过 分 割 产 生 的 结 点 。 一 个 子 结 
点 包含 其 父 结 点 中 数据 的 子 集 。[ dm] 

Chromosome (染色 体 ) 代表 一 个 个 体 的 基因 串 。[ ec] 

Class (3€) 有 共同 属性 的 对 象 集 。animal person, car 和 computer 都 是 类 。[ es] 

Class-frame (类 框架 ) ”代表 一 个 类 的 框架 。[ es] 


Clipping (3917) ”把 模糊 规则 的 后 项 和 规则 前 项 的 真 值 相 联系 的 常用 方法 。 该 方法 基于 在 前 项 


真 值 水 平 上 裁 前 后 项 来 属 函 数 。 因 为 从 隶属 函数 的 顶部 分 段 ， 被 剪 切 的 模糊 集会 丢失 一 些 
fa. [f] 

Cloning (克隆 ) 生成 一 个 其 亲 代 的 完全 副本 的 后 代 。[ec] 

Clustering (RÆ) ”把 不 同 种 类 的 对 象 划 分 成 同类 子 集 的 过 程 。 育 类 算法 可 用 于 查找 在 某 些 方 
面相 似 的 类 。 例 如 ， 保 险 公 司 可 以 用 聚 类 算法 根据 客户 的 年 龄 、 资 产 、 收 入 和 预先 的 要 求 对 
他 们 分 组 。[ ke] 

Coding (编码 ) 将 信息 从 一 种 表现 方案 转换 到 另 一 种 方案 的 过 程 。[ ec] 

Cognitive science ( 认 知 科学 ) ”研究 如 何 获 得 和 使 用 知识 的 交叉 学 科 。 涉 及 的 学 科 包 括 人 工 知 
能 、 心 理学 、 语 言 学 、 哲 学 、 神 经 科学 和 教育 学 。 也 就 是 ， 关 于 用 计算 模拟 智能 行为 的 智能 
和 智能 系统 的 研究 。 

Common sense (常识 ) 如 何 解决 现实 世界 中 的 问题 的 普遍 知识 ， 通 常 通过 实践 经 验 获 得 。 
[ ke] 

Competitive leaming (竞争 学 习 ) “无 监督 的 学 习 ， 神 经 元 之 间 彼 此 竞争 使 得 只 有 一 个 神经 元 能 
够 响应 某 个 输入 模式 。 在 竞争 中 获胜 的 神经 元 称 为 胜 者 通 吃 神 经 元 。Kohonen É 482249 4E BI 
是 竞争 学 习 的 ANN 的 一 个 例子 。[ nn] 

Complement ( 补 ) 在 经 典 的 集合 论 中 ， 集 合 A 的 补 集 就 是 不 是 A 的 成 员 元 素 的 集合 。 在 模糊 
集 理论 中 ， 集 合 的 补 集 就 是 它 的 反 集 。[ 引 ] 

Confidence factor ( AAF) ”参见 确信 因子 (Certainty factor), [es] 

Conflict ( 冲突) ”两 个 或 者 多 个 产生 式 规则 与 数据 库 中 的 数据 匹配 ， 但 是 只 能 有 一 个 规则 在 给 定 
的 循环 中 被 激发 的 状态 。[ es] 

Conflict resolution ( 冲突 消解 ) 当 有 和 多 个 规则 可 以 在 给 定 的 循环 中 被 激发 时 ， 选 择 其 中 一 个 被 
激发 的 产生 式 规 则 的 方法 。[ es] 

Conjunction (HX) ”人 逻辑 操作 符 AND， 能 连接 两 个 产生 式 规 则 中 的 前 项 。[ es] 

Connection { 连接) ”神经 元 之 间 传 递 信号 的 链接 ， 也 称 作 突 触 ， 它 通常 与 决定 传递 信号 的 强度 
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的 权重 相关 联 。[ mm] 

Consequent (后 项 ) ”规则 中 下 部 分 的 结论 或 者 动作 。[ es] 

Continuous data ( 连续 数据 ) ”在 某 个 间隔 中 有 无 限 个 可 能 取 值 的 数据 。 例 如 ， 长 度 、 重 量 、 家 
庭 收 入 和 房子 居住 面积 都 是 连续 数据 。 连 续 数 据 通常 都 是 可 度量 的 , 但 并 不 一 定 是 整数 。 
[ke] 

Convergence (收敛 ) ” 当 误 差 达到 预 设 的 阔 值 ， 表 明 网 络 已 经 学 习 了 任务 ， 即 ANN 网 络 是 收敛 
的 。[ nn] 

Convergence (rar) ”种群 中 的 个 体 有 达到 一 致 的 趋势 。 当 已 获得 一 个 解决 方案 时 ， 称 遗传 算 
AUS. [ec] 

Crossover (交叉 ) 通过 交换 两 个 现 有 染色 体 的 部 分 来 产生 新 染色 体 的 繁殖 操作 。[ es] 

Crossover probability (交叉 概率 ) 介 于 0 ~1 的 数 ， 表 示 两 个 染色 体 交 叉 的 可 能 性 。[ ec] 

Darwinism (达尔 文 主义 ) 查尔斯. 达尔 文 的 学 说 ， 指 出 通过 自然 选择 得 到 进化 ， 同 时 伴随 遗 
传 特性 的 随机 改变 。 

Data (数据 ) 事实 、 测 量 数据 或 者 观测 数据 。 也 可 以 是 事实 、 测 量 数据 或 者 观测 数据 的 符号 表 
示 。 数 据 就 是 我 们 收集 和 保存 的 东西 。 

Data cleaning (数据 清洗 ) ”探测 和 纠正 明显 的 误差 并 替换 数据 库 中 扫 失 的 数据 的 过 程 ， 也 称 作 
数据 清洁 (Data cleansing), [dm] 

Data cleansing: 参见 数据 清洗 。[ dm] 

Data cube (数据 立方 体 ) 表示 多 维 聚 集 数据 。 它 提供 一 种 从 不 同 角度 观察 数据 的 方法 。 数 据 
立方 体 模 型 类 似 于 Rubik 立方 体 ， 用 户 能 够 容易 地 将 一 个 维度 组 合 转换 为 另 一 个 。[ dm] 

Data-driven reasoning， 参见 前 项 链接 (Forward chaining), [es] 

Data mining (35281258) ”数据 中 知识 的 提取 ， 也 就 是 为 了 发 据 有 用 的 模式 和 规则 ， 对 大 量 数据 
的 研究 和 分 析 。 数 据 挖 掘 的 最 终 目标 是 发 现 知识 。[ dm] 

Data record (数据 记录 ) 与 单个 对 象 的 属性 相对 应 的 一 系列 值 。 一 个 数据 记录 是 数据 库 中 的 一 
47. 参见 记 录 。[ dm] 

Datavisualization (数据 可 视 化 ) 数据 的 图 形 化 表示 ， 能 帮助 用 户 理解 数据 的 结构 和 数据 中 包含 
的 信息 的 含义 。 参 见 可 视 化 。[ dm] 

Data warehouse (数据 仓库 ) 一 个 大 型 的 数据 库 ， 包含 了 上 百 万 条 ， 甚 至 上 亿 条 的 数据 记录 ， 
用 于 支持 组 织 的 决策 制定 。 它 是 结构 化 的 ， 能 快速 在 线 查询 和 管理 摘要 。[ dm] 

Database (数据 库 ) ”结构 化 数据 的 集合 。 数 据 库 是 专家 系统 的 基本 组 成 部 分 。[ es] 

Database management system (DBMS) (数据 库 管理 系统 ) ”实现 创建 和 维护 数据 库 的 一 组 程 
FF. [dm] 

Decision-support system ( 决策 支持 系统 ) 一 个 交互 的 基于 计算 机 的 系统 ， 用 来 帮助 个 人 或 组 
织 在 特定 领域 进行 决策 。[ es] ' 

Decision tree (决策 树 ) ”一 个 数据 集 的 图 形 化 表示 ， 以 树 状 结构 描述 数据 。 一 个 决策 树 包 括 结 
点 、 分 支 和 叶子 。 树 通常 开始 于 根 结 点 ， 通 过 在 每 层 上 分 型 数据 形成 新 结 点 而 往 下 生长 。 决 
策 树 特别 适合 解决 经 典 的 问题 ， 它 的 主要 优点 是 数据 可 视 化 。[ dm] 

Deductive reasoning (演绎 推理 ) ”从 一 般 到 特殊 的 推理 。[ es] 

Defuzzification (HRA) ”模糊 推理 的 最 后 一 步 ， 将 结合 的 模糊 规则 的 输出 转化 为 清晰 〈 数 
字 化 ) 的 值 的 过 程 。 道 模糊 化 的 输入 是 聚合 集 ， 输 出 是 单个 数字 。[11] 

Degree of membership (REE) 0 ~1 之 间 的 数值 ， 表 示 元 素 属于 某 个 集合 的 程度 。 参 见 求 属 
值 (Membership value), [fl] 
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Delta rule (Delta 规则 ) “在 训练 过 程 中 更 新 感知 器 权重 的 过 程 ，Delta 规则 通过 将 神经 元 输入 乘 
以 误差 和 学 习 速 率 的 输出 来 决定 权重 的 校正 值 。[ mn ] 

Demon (FPEF) “与 一 个 槽 相关 的 过 程 ， 当 槽 值 发 生变 化 或 被 请 求 时 会 执行 ， 守 护 程序 通常 
拥有 一 个 IF - THEN 结构 ， 它 和 方法 为 同义词 。[ es] 

DENDRAL: 20 世纪 60 FARK, Æ Stanford 大 学 开发 的 基于 规则 的 专家 系统 ， 它 基于 广 谱 仪 提供 
的 广 谱 数据 来 分 析 化 学 产品 。DENDRAL 标志 着 人 工 智 能 领域 重要 的 “范式 转换 ”: 从 通用 
的 知识 稀少 的 方法 转向 针对 特定 领域 的 知识 密集 型 的 技术 。[ es] 

Dendrite ( 树 突 ) 生物 神经 元 的 一 个 分 支 ， 在 细胞 的 不 同 部 分 之 间 传 递 信息 。 树 突 通常 负责 细 
胞 输入 的 功能 ， 尽 管 很 多 树 突 也 有 输出 的 功能 。 在 ANN 中 ， 神 经 元 输入 模拟 树 突 。[nn ] 
Deterministic model ( 确定 性 模型 ) ”一 个 数学 模型 ， 它 能 假定 对 象 之 间 准 确 的 关系 〈 不 识别 随 

机 变量 ) 。 给 定 一 个 数据 输入 集 ， 确 定性 模型 决定 了 它 的 输出 也 是 完全 确定 的 。[ es] 

Discrete data ( 离散 数据 ) ”只 能 取 有 限 个 不 同 值 的 数据 。 离 散 数据 通常 EDOM) 是 数字 。 
例如 家 庭 中 孩子 的 数量 ， 卧 室 的 数量 ， 帆 船 枪杆 数量 等 都 是 离散 数据 。[ ke] 

Disjunction (WEI) 逻辑 操作 符 OR， 连 接 产生 式 规则 的 两 个 前 项 。[ es ] 

Domain (i) 相对 狭窄 的 问题 范围 。 例 如 ， 在 医学 领域 诊断 血液 病 。 专 家 系统 就 是 关注 特定 域 
By. [es] 

Domain expert (领域 专家 ) ”参见 Expert, [es] 

EMYCIN B} Empty MYCIN, 20 世纪 70 年 代 后 期 在 斯 坦 福 大 学 开发 的 一 个 专家 系统 。 除 了 传染 性 
血液 病 的 知识 外 ， 它 拥有 MYCIN 系统 的 所 有 特征 。EMYCIN 用 来 开发 诊断 专家 系统 。[ es] 

End-user (终端 用 户 ) 参见 User, [es] 

Epoch (周期 ) 在 训练 中 ， 把 整个 训练 集 输 入 给 ANN 的 过 程 。[ mn ] 

Error (误差 ) 在 有 监督 学 习 的 ANN 中 ， 实 际 输出 和 预期 输出 之 间 的 差 。[ mn] 

Euclidean distance ( 欧 几 里 得 距离 ) 空间 中 两 点 之 间 最 短 的 距离 。 在 笛 卡 儿 坐 标 中 ， 两 点 
(41,7) 和 GS, v). 之 间 的 欧 几 里 得 距离 ， 由 毕 达 哥 拉 斯 定理 (x, 7x) + (y 75) 
决定 。 

Evolution (进化 ) 一 个 活 的 生物 获得 区 别 于 其 他 生物 的 特征 的 一 系列 基因 变化 。[ ec] 

Evolution strategy (进化 策略 ) “与 蒙特 卡 洛 搜索 类 似 的 数据 优化 过 程 。 与 遗传 算法 不 同 ， 进 
化 策略 只 使 用 突变 操作 ， 并 不 要 求 以 编码 形式 描述 一 个 问题 。 当 没有 任何 可 用 的 分 析 对 象 
函数 ， 也 没有 传统 的 优化 方法 存在 时 ， 进 化 策略 用 来 解决 技术 优化 问题 。[ ec] 

Evolutionary computation (进化 计算 ) 在 计算 机 上 模拟 进化 的 计算 模型 。 进 化 计算 的 领域 包括 
遗传 算法 、 进 化 策略 和 遗传 编程 。[ ec] 

Exhaustive search (93319 SR) ”一 种 问题 解决 技术 ， 即 测试 每 一 种 可 能 的 方法 ， 直 到 找到 一 种 
可 用 的 方法 为 止 。[ es] 

Expert (ER) ”在 某 个 领域 有 渊博 的 知识 (以 事实 和 规则 的 形式 表示 ) 和 丰富 经 验 的 人 。 参 见 
领域 专家 。[ es] . 

Expert system (专家 系统 ) ”在 狭窄 的 领域 中 能 够 以 人 类 专家 水 平 执行 的 计算 机 程序 。 专 家 系统 
AS 个 基本 的 组 成 部 分 : 知识 库 、 数 据 库 、 推 理 引 擎 、 解 释 工 具 和 用 户 界面 。[ es ] 

Expert system shell (专家 系统 框架 ) ”去 除 知识 的 骨架 专家 系统 。 参 见 框架 。[ es ] 

Explanation facility (解释 工具 ) 专家 系统 的 一 个 基本 组 成 部 分 。 它 有 助 于 用 户 查 询 专 家 系统 是 
如 何 得 到 某 个 结论 以 及 为 什么 需要 特定 的 事实 来 得 到 结论 。[ es] 

Facet (WH) 为 框架 的 属性 提供 知识 扩展 的 一 种 方法 。 侧 面 用 来 建立 属性 值 ， 控 制 用 户 查 询 ， 
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并 告知 推理 引擎 如 何 处 理 属性 。[ es] 

Fact (事实 ) ”具有 正确 或 错误 的 属性 的 语句 。[ es ] 

Feedback neural network ( 反馈 神经 网 络 ) ANN 的 一 种 拓扑 ， 它 的 神经 元 带 有 从 输出 到 输入 的 
反馈 回路 。 反 馈 神 经 网 络 的 一 个 例子 就 是 Hopfield 网 络 。 参 见 循环 网 络 。[ nn] 

Feedforward neural network (前 馈 神经 网 络 ) ANN 的 一 种 拓扑 ， 它 的 某 一 层 的 神经 元 和 下 一 层 的 神 
经 元 连接 在 一 起 。 输 入 信号 一 层 一 层 向 前 传递 。 前 馈 神 经 网 络 的 一 个 例子 是 多 层 感知 器 。[ nn] 
Field (FR) ”数据库 中 为 某 个 属性 分 配 的 空间 。( 在 电子 表单 中 ， 字 段 叫 做 单元 。) 例如 ， 纳 税 
申报 表格 包括 很 多 字段 : 你 的 姓名 、 地 址 、 纳 税 文件 号 、 应 征 税 的 收入 等 。 数 据 库 中 的 每 个 

字段 都 有 一 个 名 称 ， 叫 做 字段 名 。[ dm] 

Firing a rule (激发 规则 ) ”执行 产生 式 规 则 的 过 程 ， 或 者 更 准确 地 说 ， 就 是 当 IF 部 分 为 真 的 时 
fe, 执行 THEN 部 分 。[ es] 

Fitness (适应 性 ) 活 的 生物 体 在 特殊 环境 中 生存 和 繁殖 的 能 力 。 也 就 是 一 个 与 染色 体 相关 的 
值 ， 它 把 一 个 相对 量 赋 给 该 染色 体 。[ ec] 

Fitness function (适应 性 函数 ) 一 个 用 来 计算 染色 体 的 适应 性 的 数学 函数 。[ ec] 

Frame (#222) ” 带 有 某 个 对 象 的 典型 知识 的 数据 结构 。 框 架 用 来 在 基于 框架 的 专家 系统 中 表示 
知识 。[ es] 

Frame-based expert system ( 基于 框架 的 专家 系统 ) ”一 种 专家 系统 ， 其 中 框架 表示 主要 的 知识 
源 ， 方 法 和 守护 程序 用 来 向 框架 中 添加 动作 。 在 基于 框架 的 专家 系统 中 ， 产 生 式 规则 起 辅助 
作用 。[ es] 

Fuzzification (模糊 化 ) ”模糊 推理 的 第 一 步 ， 把 清晰 (数字 ) 输入 映射 到 确定 每 个 输入 属于 合 
适 模糊 集 的 程度 的 过 程 。[f1] 

Fuzzy expert system ( 模糊 专家 系统 ) ”使 用 模糊 逻辑 而 不 是 布尔 逻辑 的 专家 系统 。 模 糊 专家 系 
统 是 由 模糊 规则 和 有 关 的 数据 推理 的 隶属 函数 组 成 的 。 与 传统 的 专家 系统 使 用 符号 推理 不 
同 ,模糊 专家 系统 面向 数值 处 理 。[ fl] 

Fuzzy inference ( 模糊 推理 ) ”基于 模糊 逻辑 的 推理 过 程 。 模 糊 推理 包含 4 TER: 输入 变量 的 
模糊 化 、 规 则 评估 、 规 则 输出 的 聚合 以 及 逆 模 糊 化 。[ 了 ] 

Fuzzy logic (模糊 逻辑 ) 用 来 描述 那些 不 能 简单 地 用 二 进 制 的 术语 “ 真 ” 和 “ 假 ” 来 描述 的 情 
况 的 逻辑 系统 。 这 个 概念 由 Lotfi Zadeh 于 1965 年 提出 。 与 布尔 逻辑 不 同 ,模糊 逻辑 是 多 值 
的 ， 它 用 来 处 理 局 部 真 的 概念 (在 “完全 正确 ”和 “完全 错误 ”之 间 的 真 )。 参 见 模糊 集 
Hie. [fl] 

Fuzzy rule ( 模糊 规则 ) 下 列 形式 的 条 件 语句 一 一 IF x is A THEN y is B, Hip x fly 是 语言 变 
E, 4 和 中 是 由 模糊 规则 决定 的 语言 变量 。[ 阳 ] 

Fuzzy set ( 模糊 集 ) ”有 模糊 边界 的 集合 ， 如 用 “ 矮 " 、“ 平 均 ”或 者 “高 ”来 描述 人 的 身高 。 
为 了 在 计算 机 上 表示 模糊 集 ， 我 们 使 用 函数 来 表示 它 ， 然 后 再 把 集合 的 元 素 映射 到 其 隶属 
HE E. [fl] 

Fuzzy set theory ( 模糊 集 理 论 ) ”参见 模糊 逻辑 。[ 卫 ] 

Fuzzy singleton ( 模糊 单 态 模式 ) ”一 种 具有 隶属 函数 的 模糊 集 ， 在 论 域 中 的 某 一 点 函数 值 为 1， 
在 任何 其 他 情况 下 则 为 零 。 参 见 单一 事例 。[f] 

Fuzzy variable ( 模糊 变量 ) ”能 取 语 言 值 的 量 。 例 如 ,模糊 变量 “温度 ”有 “ 热 "、“ 中 等 ”和 
“A” KE., [A] 

Gene (基因 ) 染色体 的 一 个 基本 单元 ， 它 控制 着 生物 体 的 某 个 特征 的 发 展 。 在 Holland 的 染色 
体 中 ， 基 因 是 用 0 或 者 1 来 表示 的 。[ ec] 
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General Problem Solver (通用 问题 解决 方案 ，GPS) 早期 人 工 智能 系统 ， 它 试图 模拟 人 类 解 
决 问题 的 方法 。 通 用 问题 解决 方案 首先 试图 把 问题 的 解决 技术 与 数据 分 开 。 然 而 ， 程 序 是 基 
于 通用 搜索 机 制 的 。 该 方法 现在 被 认为 是 弱 方 法 ， 它 运用 了 问题 域 中 的 弱 信 息 ， 这 导致 在 解 
决 现实 世界 的 问题 时 ， 程 序 性 能 低下 。[ es] 

Generalisation ( 泛 化 ) ANN 利用 没有 训练 的 数据 产生 正确 结果 的 能 力 。[ mnj 

Generation ( 代 ) 遗传 算法 的 一 次 迭代 。[ec] 

Genetic algorithm ( 遗传 算法 ) ” 受 达 尔 文 进化 理论 启发 而 得 到 的 一 种 进化 计算 。 和 遗传 算法 产生 许 
多 可 能 用 染色 体 编码 的 解决 方案 ,估计 它们 的 适应 性 ， 同 时 应 用 遗传 操作 (如 交叉 、 突 变 ) 创 
建新 的 种 群 。 在 许多 代 重 复 这 个 过 程 ， 遗 传 算法 为 解决 问题 提供 了 合适 的 解决 方案 。[ ec] 

Genetic operator ( 遗传 操作 ) ”遗传 算法 或 遗传 编程 中 的 一 种 操作 ， 它 对 染色 体 进行 操作 ， 从 而 
产生 新 的 个 体 。 遗 传 操作 包括 交叉 和 突变 。[ ec] 

Genetic programming ( 遗传 编程 ) ”遗传 算法 在 计算 机 程序 中 的 应 用 。 当 程序 设计 语言 允许 程序 
像 数据 一 样 被 操作 以 及 新 产生 的 数据 像 程序 一 样 被 执行 时 ， 遗 传 编程 最 容易 实现 。 这 也 许 
是 LISP 作为 遗传 编程 最 主要 的 语言 的 原因 之 一 。[ ec] 

Global minimum (全 局 最 小 化 ) ”所 有 输入 参数 在 其 整个 范围 内 的 最 小 函数 值 。 在 训练 中 ，ANN 
的 权重 会 进行 调整 以 寻找 误差 函数 的 全 局 最 小 值 。[ mn] 

Global optimization (全 局 最 优化 ) 在 整个 搜索 空间 中 寻找 最 佳 的 值 。[ ec] 

Goal (目标 ) 专家 系统 试图 证 明 的 一 个 假设 。[ es] 

Goal - driven reasoning {目标 驱动 推理 ) 参见 后 向 链接 。[ es] 

Hard -limit activation function ( 硬 限 幅 激活 函数 ) 用 阶 跃 消 数 和 符号 沙 数 表示 的 一 种 激活 函 
数 ， 参 见 硬 限 幅 函 数 。[ nn] 

Hard limiter ( 硬 限 幅 函 数 ) ”参见 硬 限 幅 激活 函数 。[ nn] 

Hebb's Law (Hebb 法 则 ) 该 学 习 法 则 由 Donald Hebb 于 20 世纪 40 年 代 后 期 提出 。 它 提出 如 果 
神经 元 i 和 神经 元 j 足够 近 并 能 够 不 断 地 激活 神经 元 j， 那 么 两 个 神经 元 之 间 的 突 触 就 会 加 强 ， 
神经 元 7 对 来 自 神经 元 i 的 刺激 就 会 格外 敏感 。 这 个 法 则 为 无 监督 学 习 葛 定 了 基础 。[ nn] 

Hebbian learning (Hebbian 学 习 ) ”把 一 对 神经 元 之 间 的 突 触 权重 的 变化 与 产生 输入 和 输出 信号 
关联 起 来 的 无 监督 学 习 。[ nn] 

Hedge (模糊 限制 语 ) ”可 以 修改 模糊 集 形状 的 模糊 集 术语 。 它 包含 very, somewhat, quite, more 
or less 和 slightly 这 样 的 副词 。 它 们 通过 减少 模糊 元 素 的 隶属 度 的 集中 (如 Very tall men), 
通过 增加 模糊 元 素 的 隶属 度 来 扩张 (A more or less tall men) ， 通 过 增加 隶属 度 到 0.5 以 上 ， 
或 减少 隶属 度 到 0. 5 以 下 的 增强 (如 indeed tall men), [fl] 

Heuristic (启发 式 方法 ) 一 种 能 应 用 于 复杂 问题 的 策略 ， 它 通常 (但 不 总 是 ) 能 得 出 正确 的 解 
决 方案 。 从 多 年 的 经 验 总 结 中 得 出 的 启发 式 方法 经 常用 来 根据 判断 将 复杂 的 问题 简化 为 简 
单 的 操作 。 启 发 式 方法 经 常 被 表达 为 经 验 法 则 。[ es] 

Heuristic search (启发 式 搜索 ) ”应 用 启发 式 方法 来 指导 推理 ， 从 而 减少 搜索 空间 的 搜索 技术 。[ es] 

Hidden layer ( 隐 含 层 ) 介 于 输入 层 和 输出 层 之 间 的 神经 元 层 。 之 所 以 叫做 “ 隐 含 ” 层 ， 是 因 
为 这 一 层 中 的 神经 元 不 能 通过 神经 网 络 的 输入 /输出 行为 来 观察 到 。 没 有 明显 的 方法 可 以 知 
道 隐 含 层 的 预期 输出 应 该 是 什么 。[ nn] 

Hidden neuron ( 隐 含 神经 元 ) ” 隐 含 层 中 的 神经 元 。[ nn] 

Hopfield network (Hopfield 网 络 ) ” 单 层 反馈 神经 网 络 。 在 Hopfield 网 络 中 ， 每 个 神经 元 的 输出 
反馈 给 其 他 所 有 神经 元 的 输入 〈 其 中 没有 自 反馈 ) Hopfield 网 络 经 常用 带 有 符号 激活 函数 
的 McCulloch 和 Pitts 神经 元 。Hopfield 网 络 试图 模拟 关联 记忆 的 特征 。[ nn] 
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Hybrid system (混合 系统 ) ”至 少 结合 了 两 种 智能 技术 的 系统 。 例 如 ， 结 合 了 神经 网 络 和 模糊 系 
统 的 混合 神经 -模糊 系统 。[ ke] 

Hypothesis {假设 ) 有待 证 明 的 语句 ， 也 指 专家 系统 中 使 用 后 向 链接 的 目标 。[ es] 

Individual (个 体 ) 种群 中 的 单个 成 员 。[ ec] 

Inductive reasoning ( 归纳 推理 ) ”从 特殊 到 一 般 的 推理 。| es] 
Inference chain (推理 链 ) ”指出 专家 系统 如 何 应 用 规则 库 中 的 规则 来 得 到 结论 的 一 系列 步骤 。[ es] 
Inference engine (##325|#%) 专家 系统 的 一 个 基本 组 成 部 分 ， 它 执行 推理 ， 由 此 专家 系统 得 到 
解决 方案 。 推 理 引 擎 将 规则 库 中 的 规则 和 数据 库 中 的 事实 匹配 起 来 。 参 见解 释 器 。[ es] 
Inference technique ( 推理 技术 ) 在 专家 系统 中 推理 引擎 用 来 直接 搜索 和 推理 的 技术 。 它 有 两 
种 主要 的 技术 : 前 向 链接 和 后 向 链接 。[ es] 

Inheritance (继承 ) ”类 框架 的 所 有 特征 由 实例 框架 接受 的 过 程 。 继 承 是 基于 框架 系统 的 一 个 基 
本 特征 。 继 承 的 常规 用 法 是 把 默认 的 属性 强加 到 所 有 的 实例 框架 上 。[ es] 

Initialization ( 初始 化 ) ”训练 算法 的 第 一 步 ， 设 置 权重 和 立 值 的 初始 值 。[ nn] 

Input layer (输入 层 ) ANN 中 神经 元 的 第 一 层 。 输 入 层 从 外 界 接收 输入 信号 ， 然 后 重新 将 信号 
发 送 到 下 一 层 的 神经 元 。 输 入 层 很 少 包含 计算 神经 元 ， 因 此 不 处 理 输入 模式 。[ mn] 

Input neuron (输入 神经 元 ) 输入 层 中 的 神经 元 。[ nn] 

Instance (实例 ) 类 的 一 个 具体 对 象 。 如 computer 类 可 能 有 IBM Aptiva S35 和 IBM Aptiva S9C 两 
个 实例 。 在 基于 框架 的 专家 系统 中 ， 类 的 所 有 特征 被 它 的 实例 所 继承 。[ es] 

Instance (实例 ) 模式 的 一 个 成 员 。 例 如 ， 染 色 体 [1110| 和 [1010| 是 模式 [1 * *0| 的 一 个 实例 。[ ec] 

Instance -frame ( 实例 框架 ) ”表示 实例 的 框架 。[ es] 

Instantiation (实例 化 ) ”把 特定 值 分 配给 一 个 变量 的 过 程 。 例 如 ，August 是 对 象 month 的 一 个 实 
例 化 。[ es] 

Intelligence ( 智能) “为 解决 问题 和 制定 决策 而 学 习 与 理解 的 能 力 。 如 果 一 个 机 器 在 某 些 认 知 的 
任务 中 能 够 达到 人 类 的 水 平 ， 就 认为 它 是 智能 的 。 

Interpreter (解释 器 ) 参见 推理 引擎 。[ es] 

Intersection ( 交 ) 在 经 典 集合 论 中 ， 两 个 集合 的 交 包含 两 个 集合 所 共有 的 元 素 。 例 如 ，tall men 
和 fat men 的 交 包 含 既 高 又 胖 的 男人 。 在 模糊 集 理论 中 ， 一 个 元 素 可 能 部 分 地 属于 两 个 集合 ， 
则 交集 是 两 个 集合 中 隶属 值 最 低 的 元 素 。[11] 

ls -a 在 基于 框架 的 专家 系统 中 ， 把 超 类 和 子 类 联合 在 一 起 的 一 个 弧 。 例 如 ， 如 果 car is - a ve- 
hicle， 那 么 car 是 更 通用 的 超 类 vehicle 的 子 类 。 每 个 子 类 从 其 超 类 中 继承 所 有 的 特性 。[ es] 

Knowledge (知识 ) ”对 某 个 主题 在 理论 上 或 实践 上 的 理解 。 知 识 帮 助 我 们 做 出 正式 的 决定 。 

Knowledge acquisition (知识 获取 ) 获取、 研究 和 组 织 知 识 的 过 程 ， 因 此 它 可 以 用 于 基于 知识 
的 系统 中 。[ ke] 

Knowledge base {知识 库 ) 专家 系统 的 一 个 基本 组 成 部 分 ， 它 包含 特定 领域 的 知识 。[ es] 

Knowledge — base system (基于 知识 的 系统 ) 一 个 用 存储 的 知识 来 解决 某 个 领域 的 问题 的 系 
统 。 对 基于 知识 的 系统 的 评估 通常 是 比较 它 的 性 能 与 人 类 专家 的 性 能 。 

Knowledge engineer (知识 工程 师 ) 设计、 构建 并 测试 基于 知识 的 系统 的 人 。 知 识 工 程 师 从 领 
域 专家 那里 获得 知识 ， 然 后 建立 推理 方法 和 选择 开发 软件 。[ ke] 

Knowledge engineering (知识 工程 ) 建立 基于 知识 的 系统 的 过 程 。 它 包括 6 个 主要 的 步骤 : 评 
估 问 题 、 获 取 数 据 和 知识 、 开 发 原型 系统 、 开 发 完整 系统 、 评 估 并 修改 系统 、 整 合 和 维护 系 
5t. [ke] 
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Knowledge representation ( 知识 表达 ) ”组 织 知识 以 存 人 基于 知识 的 系统 的 过 程 。 在 人 工 智能 
中 ,产生 式 规则 是 知识 表达 最 常用 的 类 型 。[ ke] 

Kohonen self — organising feature maps (Kohonen 自 组 织 特征 映射 ) Teuvo Kohonen 于 20 世纪 
80 年 代 晚 期 提出 的 具备 竞争 学 习 的 一 种 特殊 的 ANN, Kohonen 映射 由 一 个 有 两 种 类 型 的 连 
接 的 单 层 计算 神经 元 组 成 。 这 两 个 连接 是 输入 层 的 神经 元 到 输出 层 的 神经 元 的 前 向 连接 ， 
以 及 输出 层 的 神经 元 之 间 的 横向 连接 。 横 向 连接 用 来 在 神经 元 之 间 产 生 竞 争 。 神 经 元 通过 
将 它 的 权重 从 非 活 动 连接 变 为 活动 连接 来 学 习 。 只 有 获胜 的 神经 元 和 它 的 邻近 神经 元 可 以 
学 习 。[m] 

Layer (IR) 有 特殊 功能 ， 并 且 是 作为 一 个 整体 处 理 的 一 组 神经 元 。 例 如 ， 多 层 感 知 器 至 少 有 3 
层 : 输入 层 、 输 出 层 以 及 一 个 或 多 个 隐 含 层 。[ nn] 

Leaf (HAA) ”决策 树 中 最 低 端的 结 点 ， 它 没有 子 结 点 。 参 见 终端 结 点 。[ dm] 

Leaming (学 习 ) 在 ANN F, 为 了 达到 网 络 的 某 些 预期 行为 而 调整 权重 的 过 程 。 参 见 训 练 。[ nn] 

Leaming rate (学习 速率 ) 小 于 单位 1 的 正 数 ， 它 控制 ANN 中 的 迭代 从 一 次 到 下 一 次 的 权重 的 
变化 量 。 学 习 速 度 直 接 影响 网 络 训练 的 速率 。[ mn] 

Learning rule (学 习 规 则 ) 在 训练 ANN 时 ,修改 权重 的 过 程 。[ nn] 

Linear activation function {线性 激活 函数 ) ”产生 的 输出 和 神经 元 的 净 输 入 相等 的 激活 函数 。 具 
有 线性 激活 函数 的 神经 元 一 般 用 在 线性 近似 中 。[mn] 

Linguistic value (语言 值 ) 模糊 变量 能 接受 的 语言 元 素 。 例 如 ， 模 糊 变 量 income 可 以 接受 very 
low, low, medium, high 和 very high 这 样 的 语言 。 语 言 值 通过 隶属 函数 来 定义 。[ 引 ] 

Linguistic variable (语言 变量 ) ”有 语言 元 素 值 的 变量 ， 如 单词 和 短语 。 在 模糊 逻辑 中 ， 术 语 语 
言 变量 和 模糊 变量 是 同 义 的 。[1{] 

LISP (LISt Processor) ”最 早 的 高 级 编程 语言 之 一 。LISP 由 John McCarthy 于 20 世纪 50 年代 后 
AW, 已 成 为 人 工 智 能 的 标准 语言 。 

Local minimum (局 部 最 小 化 ) 输入 参数 在 其 有 限 的 取 值 范围 内 的 最 小 函数 值 。 如 果 在 训练 中 
遇 到 局 部 最 小 化 ， 将 永远 不 会 达到 ANN 的 预期 行为 。 去 除 局 部 最 小 化 的 常用 方法 就 是 利用 
随机 权重 并 继续 训练 。[ nn ] 

Machine learning (机 器 学 习 ) 使 计算 机 能 够 通过 经 验 、 例 子 和 类 上 比 进行 学 习 的 自 适应 机 制 。 
学 习 能 力 可 以 改善 智能 系统 的 性 能 。 机 器 学 习 是 自 适 应 系统 的 基础 。 机 器 学 习 最 常见 的 方 
法 是 人 工 神经 网 络 和 遗传 算法 。 

Market basket analysis (购物 篮 分 析 ) 一 种 数据 挖 据 技术 ， 通 过 分 析 两 个 或 多 个 项 在 上 下 文中 
同时 出 现 的 次 数 来 发 现 项 闻 的 统计 关系 。 购 物 篮 分 析 回 答 这 样 的 问题 ， 例 如 “如 果 一 个 用 
户 购买 了 A， 他 购买 B 的 可 能 有 多 大 ?” 和 “如 果 用 户 购 买 了 A 和 了 B， 她 可 能 还 会 购买 什么 
物品 ?”。 

Massaging data (修改 数据 ) ”在 应 用 于 ANN 输入 层 之 前 修改 数据 的 过 程 。[ nn] 

McCulloch 和 Pitts neuron model ( McCulloch 和 Pitts 神经 元 模型 ) 由 Warren McCulloch 和 
Walter Pitts 于 1943 年 提出 的 神经 元 模型 ， 至 今 仍 是 大 多 数 人 工 神 经 网 络 的 基础 。 这 个 模型 
由 一 个 硬 限 幅 器 后 跟 一 个 线性 组 合 器 组 成 。 净 输入 被 应 用 于 限 幅 器 ， 当 输入 是 正 数 ， 输 出 就 
是 +1， 当 输入 是 负数 ， 输 出 就 是 -1。[mn] 

Membership function (隶属 函数 ) ”在 论 域 中 定义 模糊 集 的 数学 函数 。 在 模糊 专家 系统 中 使 用 的 
典型 隶属 函数 有 三 角形 沙 数 和 梯形 函数 。[ 1] 

Membership value ( 隶属 值 ) MEE., [A] 

Metaknowledge (元 知识 ) 关于 知识 的 知识 。 元 知识 是 在 专家 系统 中 使 用 和 控制 领域 知识 的 知 














i. [es] 
Metarule (元 规则 ) ”描述 元 知识 的 规则 。 元 规则 决定 了 在 专家 系统 中 使 用 特殊 任务 规则 的 策略 。[ es] 
Method (方法 ) 方法 是 和 框架 属性 相关 的 过 程 。 方 法 决定 属性 值 或 在 属性 值 发 生变 化 时 执行 一 

系列 动作 。 大 多 数 基于 框架 的 专家 系统 有 两 种 方法 : WHEN CHANGED 和 WHEN NEEDED, 

方法 和 守护 程序 通常 作为 同义词 使 用 。[ es] 

Momentum constant { 要素 常 数 ) delta 规则 中 小 于 单位 1 的 正 数 。 要 素 的 使 用 加 快 了 在 多 层 感 
知 器 里 的 学 习 速度 ， 有 助 于 避免 遇 到 局 部 最 小 化 。[ mm] 

Multilayer perceptron ( 多 层 感知 器 ) ANN 最 普通 的 拓扑 ， 其 中 感知 器 被 连接 起 来 成 为 单独 的 
层 。 多 层 感 知 器 有 输入 层 、 至 少 一 个 隐 含 层 以 及 输出 层 。 操 作 多 层 感 知 器 最 常用 的 方法 是 反 
向 传播 。[ nn] 

Multiple inheritance ( 多 重 继承 ) 一 个 对 象 或 者 框架 能 够 从 多 重 超 类 中 继承 信息 的 能 力 。[ es] 

Mutation ( 突变 ) ”随机 改变 染色 体 中 的 基因 值 的 遗传 操作 。[ ec] 

Mutation probability ( 突变 概率 ) ”揭示 在 单个 基因 中 发 生 突变 可 能 性 的 0 ~ 1 之 间 的 数值 。[ ec] 

MYCIN MYCIN 是 一 个 于 20 世纪 70 年 代 提 出 的 ， 用 以 诊断 传染 性 血液 疾病 的 一 个 典型 的 基于 规 
则 的 专家 系统 ， 这 个 系统 使 用 确信 因子 来 管理 与 医学 诊断 知识 有 关 的 不 确定 性 。[ es] 

Natural selection (自然 选择 ) ”适应 性 最 强 的 个 体 进 行 配对 和 繁殖 的 机 会 更 大 ， 从 而 把 它们 的 遗 
传 物质 传递 给 下 一 代 的 过 程 。[ ec] 

Neural computing (神经 计算 ) ”模拟 人 脑 的 计算 方法 ， 它 依靠 连接 大 量 简单 的 处 理 器 来 产生 复 
杂 的 行为 。 神 经 计算 能 够 在 专门 的 硬件 或 使 用 称 为 人 工 神经 网 络 的 软件 上 实现 ， 人 工 神经 
网 络 在 传统 计算 机 上 模拟 人 脑 的 结构 和 功能 。 

Neural network (神经 网 络 ) ”把 处 理 元 素 ( 称 为 神经 元 ) 连接 在 一 起 形成 网 络 的 系统 。 生 物 学 
神经 网 络 的 基本 的 和 本 质 的 特征 是 学 习 的 能 力 。 人 工 神 经 网 络 也 有 这 种 能 力 ， 它 们 没有 被 
编程 ， 但 是 可 以 通过 重复 地 调整 权重 来 学 习 。[ nn] 

Neuron (神经 元 ) 能 够 处 理 信息 的 细胞 。 一 个 典型 的 神经 元 有 许多 输入 〔( 树 突 ) 和 一 个 输出 
( 轴 突 )。 人 脑 大 概 有 10" 个 神经 元 。 同 时 它 也 是 ANN 的 一 个 基本 处 理 元 素 ， 用 于 计算 输入 
信号 的 权重 和 ， 并 把 结果 通过 激活 函数 产生 一 个 输出 。[ nn] 

Node ( 结 点 ) 决策 树 上 的 一 个 决策 点 。[ dm] 

Noise (BA) ”影响 传输 信号 的 一 个 随机 外 部 干扰 。 噪 声 数 据 包含 与 数据 的 采集 、 测 量 和 解释 
的 方法 有 关 的 误差 。[ dm] 

NOT 表示 语句 的 反面 的 一 个 逻辑 操作 。[ es] 

Object (HR) ”一 个 概念 、 抽 象 或 事物 ， 能 够 被 单独 选择 和 操作 ， 并 且 它 对 问题 而 言 是 有 意义 
的 。 所 有 对 象 都 有 特征 ， 可 以 被 清晰 地 区 分 开 来 。Michael Black, Audi 5000 Turbo 和 IBM 
Aptiva S35 就 是 对 象 的 例子 。 在 面向 对 象 的 编程 中 ， 对 象 是 一 个 自 包含 的 实体 ， 它 包括 数据 

和 处 理 数据 的 过 程 。[ es] 

Object - oriented programming (面向 对 象 编程 ) ”把 对 象 作为 分 析 、 设 计 和 实现 的 基础 的 一 种 编 
程 方法 。[ es] 

Offspring (AR) ”通过 繁殖 产生 的 个 体 。 参 见 子 代 。[ ec] 

On - line analytical processing (OLAP) (联机 分 析 处 理 ) ”支持 多 维 视图 和 快速 访问 大 量 数据 的 
软件 技术 ，OLAP 能 够 实现 数据 立方 体 上 的 “切面 、 切 片 ” 和 “上 卷 、 下 外 ”操作 。[ dm] 
Operational database ( 操作 型 数据 库 ) ”用 于 企业 日 常 操作 的 数据 库 。 操 作 数 据 库 中 的 数据 会 进 

行 有 规律 地 更 新 。[ dm] 

OPS 起 源 于 LISP， 用 于 开发 基于 规则 的 专家 系统 的 一 种 高 级 编程 语言 。[ es] 
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Optimisation ( 优化) FAL RRM WR RAOR EROA IRI BREST 692875 RHE. [ec] 

OR 一 个 逻辑 操作 符 ， 当 运用 在 产生 式 规则 中 时 ， 它 意味 着 如 果 和 OR 连 在 一 起 的 任何 一 个 前 项 
为 真 的 话 ， 那 么 规则 的 后 项 也 为 真 。[ es] 

Outlier (BAG) 到 其 他 数据 的 距离 值 。[ dm] 

Output layer (WHER) ANN 中 神经 元 的 最 后 一 层 。 输 出 层 产 生 整 个 网 络 的 输出 模式 。[ mm] 

Output neuron (输出 神经 元 ) 输出 层 中 的 神经 元 。[ nnj] 

Overfitting (过 拟 合 ) ANN 能 记 住所 有 的 训练 例子 , 但 是 不 能 进行 推广 的 现象 。 如 果 隐 含 神经 
元 的 数量 太 大 ， 就 会 发 生 过 拟 合 。 防 止 过 拟 合 的 可 行 办 法 就 是 选择 能 产生 最 佳 推广 的 隐 含 
神经 元 的 最 小 数量 。 参 见 过 训练 。[ nn] 

Over - training (过 训练 ) 参见 过 拟 合 。[ nn] 

Parallel processing (并 行 处 理 ) ”同时 处 理 多 个 任务 的 计算 技术 。 人 脑 就 是 并 行 信息 处 理 系统 的 
一 个 例子 ， 它 在 整个 生物 神经 网 络 中 〈 而 不 是 在 特殊 的 地 方 ) 同时 存储 和 处 理 信息 。[ nn] 

Parent (ŽE) ”能 产生 一 个 或 者 多 个 个 体 (后代 或 子 代 ) BMA, [ec] 

Parent ( 父 结 点 ) ”在 决策 树 中 ， 父 结 点 是 把 它 的 数据 分 离 到 该 树 的 下 一 层 结 点 的 结 点 。 父 结 点 
包含 整个 数据 集 ， 而 子 结 点 只 包含 整个 数据 集 的 子 集 。[ dm] 

Pattern recognition (模式 识别 ) 计算 机 可 识别 的 视频 或 音频 模式 。 模 式 识别 包括 把 模式 转化 为 
数字 信号 ， 然 后 将 这 些 数字 信和 号 与 存储 在 内 存 中 的 模式 进行 比较 。 人 工 神经 网 络 成 功 应 用 
于 模式 识别 ， 特 别 是 声音 和 特征 的 识别 、 雷 达 目 标的 辨别 和 遥控 领域 更 为 常用 。[ nn] 

Perceptron (感知 器 ) ”由 Frank Rosenblatt 提出 的 最 简单 的 神经 网 络 形式 。 感 知 器 的 操作 基于 
McCulloch 和 Pitts 的 神经 模型 。 它 由 一 个 带 有 调整 突 触 权重 的 神经 元 和 一 个 限 幅 器 组 成 。 感 
知 右 通过 细微 地 调整 权重 来 减少 实际 输出 和 预期 输出 的 差别 来 进行 学 习 。 初 始 权 重 是 随机 
设置 的 ， 接 着 更 新 初始 值 来 获取 和 训练 例子 一 致 的 输出 值 。[ nn] 

Performance (性 能 ) ”适应 性 的 统计 评估 。[ ec] 

Performance graph (性 能 图 ) ”揭示 整个 种 群 的 平均 性 能 和 种 群 中 最 优秀 的 个 体 经 过 制定 代数 后 
性 能 的 图 。[ ec] 

Pixel ( 像素 ) ”图片 元 素 。 图 像 中 的 一 个 点 。 计 算 机 显示 器 是 通过 将 屏幕 分 成 成 千 上 万 (或 几 百 
万 个 ) 按 行 和 列 组 织 的 像素 来 展示 图 片 的 。 像 素 之 间 靠 得 很 近 ， 因 此 它们 看 起 来 像 一 个 图 
像 。[ ke] 

Population (种 群 ) 在 一 起 生活 的 一 群 个 体 。[ ec] 

Premise (BH) 参见 前 项 。[ es] 

Principal component analysis (PCA) ( 主 成 分 分 析 ) ”将 高 维 相关 变量 转换 为 低 维 不 相关 变量 的 
数学 过 程 。[ dm] 

Probability (33k) ” 某 个 事件 可 能 发 生 的 定量 的 描述 。 概 率 在 数学 上 定义 为 一 个 在 0 (绝对 不 可 
能 ) 和 1 (绝对 肯定 ) 之 间 的 一 个 数 。[ es ] 

Procedure (过 程 ) 计算 机 代码 中 自 包 含 的 一 段 代码 。[ es ] 

Production (FER) ” 认 知 心理 学 家 用 来 描述 规则 的 常用 术语 。[ es] 

Production rule (产生 式 规则 ) IF (前 项 ) -THEN (后 项 ) 形式 的 语句 。 如 果 前 项 为 真 ， 那么 
后 项 也 为 真 。 参 见 规则 。[ es] 

PROLOG 20 世纪 70 年 代 后 期 由 Marseilles 大 学 开发 的 一 种 高 级 编程 语言 ， 它 是 逻辑 编程 的 实用 
工具 ， 也 是 人 工 智能 的 常用 语言 。 

PROSPECTOR 20 世纪 70 年 代 后 期 由 斯 坦 福 研究 所 提出 的 用 于 矿藏 勘探 的 专家 系统 。 为 了 描 
述 知 识 ，PROSPECTOR 使 用 包括 产生 式 规则 和 语义 网 络 的 组 合 结构 。[ es] 
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Query tool (查询 工具 ) ”允许 用 户 创建 并 向 数据 库 提出 特定 问题 的 软件 。 查 询 工具 提供 了 从 数 
据 库 获 取 所 需 信 息 的 方法 。[ dm] 

Reasoning (推理 ) ”得 出 结论 或 通过 观察 结果 、 事 实 或 假设 进行 推导 的 过 程 。[ es ] 

Record ( 记录 ) 参见 数据 记录 。[dmj] 

Recurrent network (循环 网 络 ) 参见 反馈 网 络 。[ nn | 

Regression analysis ( 回归 分 析 ) 发现 最 符合 数据 的 数学 公式 的 统计 技术 。[ dm] 

Relational database (关系 数据 库 ) ”以 表 形 式 表 示 的 数据 集合 ， 可 以 访问 和 重 装 数 据 ， 而 无 需 
重新 组 织 表 本 身 。[ dm] 

Reproduction (W) ” 亲 代 创建 后 代 的 过 程 。[ ec] 

Root ( 根 ) 参见 根 结 点 。[ dm ] 

Root node (RAA) ”决策 树 最 顶端 的 结 点 。 树 总 是 从 根 结 点 开始 向 下 生长 ， 并 在 每 一 层 分 割 
数据 以 产生 新 的 结 点 。 根 结 点 包含 整个 数据 集 (所 有 的 数据 记录 )。 子 结 点 包含 该 集 的 子 
集 。 参 见 根 。[ dm] 

Roulette wheel selection ( 轮 盘 选择 ) ”从 种 群 中 选 出 一 个 个 体 作为 亲 代 ， 其 概率 等 于 它 的 适应 
性 除 以 种 群 总 的 适应 性 的 方法 。[ ec] 

Rule {规则 ) ”参见 产生 式 规 则 。[ es] 

Rule base (规则 库 } 包含 一 组 产生 式 规 则 的 知识 库 。[ es] 

Rule - based expert system (基于 规则 的 专家 系统 ) ”其 知识 库 包含 一 系列 产生 式 规则 的 专家 系 
统 。[es] 

Rule evaluation ( 规则 评估 ) 模糊 推理 的 第 二 步 。 把 模糊 输入 应 用 于 模糊 规则 的 前 项 ， 以 及 决 
定 每 个 规则 的 前 项 的 真 值 的 过 程 。 如 果 给 定 的 规则 有 多 个 前 项 ， 则 使 用 模糊 操作 〈 交 或 者 
并 ) 来 得 到 一 个 数值 ， 该 数值 代表 前 项 评估 的 结果 。 

Rule -of -thumb (经 验 法 则 ) ”表达 启发 式 方法 的 规则 。[ es] 

Scaling ( 缩放 ) ”把 模糊 规则 的 后 项 和 前 项 规则 的 真 值 联系 在 一 起 的 方法 。 它 是 基于 规则 后 项 的 
初始 隶属 函数 乘 以 规则 前 项 的 真 值 来 调整 初始 隶属 函数 的 。 缩 放 用 来 保存 模糊 集 的 原始 形 
XR, [A] 

Scatter plot ( 散 点 图 } ”表示 两 个 变量 相关 度 的 二 维 图 。 数 据 表示 为 点 的 集合 。 每 个 点 的 水 平 坐 
标 由 一 个 变量 决定 ， 垂 直 坐 标 由 另 一 个 变量 决定 。[ dm ] 

Schema (模式 ) 模式 是 包含 0、1 和 星 号 的 位 串 ， 其 中 星 号 表示 0 或 者 1。 例 如 ， 模式 [1 * *0] 
表示 4 位 串 ， 每 个 串 开 始 于 1， 结束 于 0。[ ec] 

Schema theorem (模式 定理 ) 下 一 代 中 给 定 的 模式 的 实例 的 数量 与 这 一 代 中 的 模式 的 适应 性 
以 及 染色 体 的 平均 适应 性 关联 起 来 的 理论 。 这 个 理论 表明 ， 高 于 平均 适应 性 的 模式 容易 在 
下 一 代 中 频繁 发 生 。[ ec] 

Search (ER) 通过 检查 解决 问题 的 一 系列 可 能 的 解决 方案 来 找 出 可 以 接受 的 解决 方案 的 过 
程 。[ es] 

Search space (搜索 空间 ) ”给 定 问 题 的 所 有 可 能 的 解决 方案 的 集合 。[ es] 

Selection (选择 ) 根据 适应 性 来 选择 用 于 繁殖 的 亲 代 的 过 程 。[ ec] 

Self — organised learning ( 自 组 织 学 习 ) 参见 无 监督 学 习 。[ nn] 

Semantic network (语义 网 络 ) ”通过 一 个 由 带 标记 的 结 点 和 弧 梅 成 的 图 来 表达 知识 的 方法 ， 图 
中 的 结 点 表示 对 象 ， 弧 表示 这 些 对 象 之 间 的 关系 。[ es] 

Sensitivity analysis ( 灵敏 度 分 析 ) ”确定 模型 的 输出 对 特定 输入 的 敏感 程度 的 技术 。 该 技术 可 以 
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用 来 理解 不 透明 模型 的 内 部 关系 ， 因 此 可 以 应 用 在 神经 网 络 中 。 通 过 将 每 个 输入 设置 成 最 
小 值 ， 然 后 再 设置 成 最 大 值 ， 并 测量 网 络 的 输出 来 执行 灵敏 度 分 析 。[ ke] 

Set ( 集 ) 元 素 或 者 说 成 员 的 集合 。 

Set theory (集合 论 ) 对 对 象 的 类 或 者 集合 的 研究 。 和 集合 是 数学 的 基本 单元 。 经 典 集合 理论 并 
不 承认 模糊 集 ， 模 糊 集 的 元 素 在 某 种 程度 上 可 以 属于 很 多 个 集合 。 经 典 集 合理 论 是 二 元 的 : 
元 素 刻 么 属于 一 个 集合 ， 要 人 么 不 属于 一 个 集合 。 也 就 是 说 ， 经 典 集 合理 论 为 集合 中 的 每 个 元 
素 所 赋 的 值 为 1， 为 不 属于 那个 集合 的 所 有 元 素 赋值 为 0。 

Shell (框架 ) ”参见 专家 系统 框架 。[ es] 

Sigmoid activation function (S 形 激活 函数 ) ”把 一 个 在 正 无 穷 大 和 负 无 穷 大 之 间 的 任意 输入 值 
转变 为 0 ~1 之 间 的 一 个 合理 值 的 激活 函数 。 有 这 个 功能 的 神经 元 被 用 在 多 层 感 知 器 中 。 
[nn] 

Sign activation function ( 符号 激活 函数 ) ”如 果 输 入 是 正 的 ， 那么 它 的 输出 是 +1， 如 果 输 入 是 
负 的 ， 那么 它 的 输出 是 -1 的 一 个 硬 限 幅 激活 函数 。[ nn] 

Singleton ( 单 态 模式 ) ”参见 模糊 单 态 模式 。[{1] 

Slot (8) 基于 框架 系统 的 一 个 框架 组 成 部 分 ， 它 描述 框架 的 某 个 属性 。 例 如 ， 框 架 computer 
有 一 个 用 于 model RER. [es] 

Soma (细胞 ) 生物 神经 元 的 载体 。[ mm ] 

Step activation function ( 阶 跃 激活 函数 ) ”如 果 输 入 是 正 的 ， 那么 它 的 输出 是 +1， 如 果 输 入 是 
H, 那么 它 的 输出 是 -1 的 一 个 硬 限 幅 激 活 函 数 。[ nn] 

Structured Query Language (SQL) (结构 化 查询 语言 ) 一 种 实现 检索 、 插 入 、 更 新 和 删除 数 
据 的 命令 语言 。SQL 的 第 一 个 版 本 被 称 为 SEQUEL, H IBM 的 Donald Chamberlin 和 Raymond 
Boyce F 20 世纪 70 年 代 早 期 创建 。[ dm] 

Summary statistics (摘要 统计 ) 表示 数据 特性 的 一 组 值 ， 例 如 均值 、 中 值 、 模 和 标准 差 等 。 
[ dm] 

Supervised learning (有 监督 学 习 ) 需要 一 个 能 提供 一 系列 训练 例子 给 ANN 教师 的 学 习 类 型 。 
每 个 例子 都 包含 输入 模式 和 由 网 络 产生 的 预期 输出 模式 。 这 个 网 络 决定 了 实际 的 输出 ， 并 
把 它 与 训练 例子 的 预期 输出 进行 比较 。 如 果 网 络 得 到 的 输出 和 训练 例子 的 预期 输出 不 同 ， 
那么 网 络 权重 将 被 修改 。 监 督学 习 的 最 常用 的 方法 是 反 向 传播 。[ nn | 

Survival of the fittest ( 适 者 生存 ) ”只 有 适应 性 最 强 的 个 体 才能 够 生存 下 来 ， 并 把 它们 的 基因 传 
给 下 一 代 的 理论 。[ ec] 

Symbol (#3) ”描述 一 些 对 象 的 字符 或 字符 串 。[es ] 

Symbolic reasoning ( 符号 推理 ) : 用 符号 来 推理 。[ es] 

Synapse ( 突 触 ) 生物 神经 网 络 中 两 个 神经 元 的 化 学 媒介 连接 ， 因 此 一 个 细胞 的 状态 会 影响 另 
一 个 细胞 的 状态 。 虽 然 还 有 许多 其 他 的 组 织 ， 但 是 突 触 经 常 出 现在 轴 突 和 树 突 之 间 。 人 参见 连 
B&, [nn] 

Synaptic weight ( 突 触 权重 ) ”参见 权重 。[ mn] 

Terminal node (终端 结 点 ) 参见 叶子 。[ dm] 

Test set (WAR) ”用 来 测试 一 个 ANN 的 推广 能 力 的 数据 集 。 测 试 数据 集 是 严格 独立 于 训练 集 
的 ， 它 包括 在 网 络 中 从 来 没有 出 现 的 一 些 例子 。 一 旦 训练 完成 ， 数 据 集 马 上 用 来 验证 网 络 。 
[nn] 

Threshold (WE) 在 神经 元 的 输出 产生 之 前 必须 超出 的 特定 值 。 例 如 ， 在 McCulloch 和 Pitts 神 
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ZEB, dE AST RA, SEA ZUM d LEE -1; 如 果 净 输入 大 于 或 者 等 于 立 
fA, 那么 神经 元 被 激活 ， 输 出 为 +1。 参 见 极限 值 。[ nn] 

Threshold value (极限 值 ) ILE. [nn] 

Topology (拓扑 ) 神经 网 络 的 一 个 结构 ， 指 神经 网 络 的 层 数 、 每 一 层 神经 元 的 个 数 以 及 神经 元 
之 间 的 连接 。 参 见 体系 结构 。[ mn] 

Toy problem (玩具 问题 ) 人 造 问 题 ， 如 游戏 。 也 指 一 个 复杂 问题 的 不 现实 采用 。[ es] 

Training (训练 ) 参见 学 习 。[ nn] 

Training set (训练 集 ) ”用 于 训练 ANN 的 数据 集 。[ nn] 

Transfer function (传递 函数 ) ”参见 激活 函数 。[ nn] 

Truth value (AÉ) 一 般 而 言 ， 术 语 真 值 与 隶属 值 是 同义词 。 真 值 反 映 模糊 语句 的 真实 性 。 例 
如 ， 模 糊 命 题 x is 4 (0.7) 表示 元 素 x 是 模糊 集 4 的 隶属 度 是 0.7。 这 个 数字 表示 命题 的 真 
tE. [A] 

Turing test (图 爱 测试 ) 用 于 决定 一 个 机 器 是 否 能 够 通过 智能 行为 的 测试 。 图 灵 把 计算 机 的 智 
能 行为 定义 为 在 某 个 认 知 任务 中 能 达到 人 类 水 平 的 能 力 。 在 测试 当中 ， 某 人 通过 神经 介质 
(如 远程 终端 ) 来 询问 某 人 或 某 物 。 如 果 提 问 者 不 能 将 人 和 机 器 区 分 开 ， 那么 该 计算 机 就 能 
通过 这 个 测试 。 

Union (Jf) 在 经 典 的 集合 理论 中 ， 两 个 集合 的 并 由 属于 两 个 集合 的 所 有 元 素 组 成 。 例 如 ，tall 
men 和 fat men 的 并 包含 所 有 高 或 胖 的 男人 。 在 模糊 集 理 论 中 ， 并 是 交 的 道 操作 ， 也 就 是 说 ， 
并 集 由 两 个 集合 中 隶属 值 较 大 的 元 素 组 成 。[ fl] 

Universe of discourse ( 论 域 ) ”应 用 到 所 给 变量 中 所 有 可 能 值 的 范围 。[ {1] 

Unsupervised learning (无 监督 学 习 ) 不 需要 额外 教师 的 一 种 学 习 类 型 。 在 学 习 中 ，ANN 接收 
一 些 不 同 的 输入 模式 ， 发 现 这 些 模 式 中 的 重要 特征 ， 并 学 会 怎样 将 输入 数据 放 人 合适 的 类 
中 。 参 见 自 组 织 学 习 。[ nn] 

User (AA) ”使 用 基于 知识 的 系统 的 人 。 例 如 ， 用 户 有 可 能 是 确定 分 子 结构 的 分 析 化 学 家 ， 诊 
断 传染 性 血液 疾病 的 医生 ， 一 位 试图 发 现 新 的 矿藏 的 地 质 勘探 学 家 ， 或 者 在 紧急 情况 下 寻 
找 建议 的 电力 系统 操作 员 。 参 见 终端 用 户 。[ es ] 

User interface (用 户 界面 ) 用 户 和 机 器 之 间 交 流 的 方式 。[ es] 

Visualization (可 视 化 ) 参见 数据 可 视 化 。[ dm] 

Weight (权重 ) 在 ANN 中 与 两 个 神经 元 的 连接 有 关 的 值 。 这 个 值 决 定 了 连接 的 强度 ， 揭 示 了 

个 神经 元 有 多 少 输出 被 传送 给 了 另 一 个 神经 元 的 输入 。 参 见 突 触 权 重 。[ nn] 

WHEN CHANGED method (WHEN CHANGED 方法 ) 在 基于 框架 的 专家 系统 中 ， 与 框架 的 槽 
有 关 的 过 程 。 当 新 的 信息 被 放 人 槽 中 时 ，WHEN CHANGED 方法 被 执行 。[ es] 

WHEN NEEDED method (WHEN NEEDED 方法 ) 在 基于 框架 的 专家 系统 中 ， 与 框架 的 模 有 关 
的 过 程 。 当 解决 问题 所 需 的 信息 被 放 人 权 中 时 ，WHEN NEEDED 方法 被 执行 ， 但 是 槽 的 值 
不 会 被 指定 。[ es] 


| 附录 


Artificial Intelligence, 3E 


人 工 智能 工具 和 经 销 商 





Expert system shells ( 专家 系统 框架 ) 


ACQUIRE 

一 个 用 于 获取 知识 和 开发 专家 系统 的 工具 。 知 识 通过 产生 式 规则 和 基于 模式 的 动作 表 来 表 
示 。ACQUIRE 在 建立 专家 系统 时 不 需要 进行 特殊 的 训练 。 领 域 专家 不 需要 知识 工程 师 的 帮助 就 
能 够 创建 一 个 知识 库 并 且 开 发 应 用 程序 。 


Acquired Intelligence Inc. 

205 - 1095 McKenzie Avenue 

Victoria, BC, Canada, V8P 2L5 

电话 : +1 (250) 479-8646 

传真 ; +1 (250) 479-0764 

http://www.aiinc.ca/acquire/acquire.shtml 

Exsys Corvid 

一 种 基于 Java 的 通用 专家 系统 构建 工具 。 通 过 构建 逻辑 图 表 和 规则 来 描述 决策 支持 步骤 。 
Exsys Corvid 可 以 通过 Corvid Servlet 运行 时 程序 〈( 能够 为 用 户 接 口 动态 构建 HTML 页 面 ) 在 网 络 
ERE, RAHA Java Applet 运行 时 程序 在 客户 端 展 示 。 系 统 可 以 通过 标准 的 ODBC/JDBC 接口 
和 SQL 命令 访问 数据 库 。Exsys Corvid 也 可 以 作为 独立 的 应 用 运行 ， 可 以 被 集成 到 其 他 信息 结 
构 中 。 

EXSYS 

6301 Indian School Rd. NE, Suite 700 

Albuquerque, NM 87110, USA 

电话 : +1 (505) 888-9494 

传真 : +1 (505) 888-9509 

http://www.exsys.com/ 

FICO Blaze Advisor 

一 种 用 于 开发 基于 规则 的 面向 对 象 的 专家 系统 的 成 熟 工具 。 可 以 采用 多 种 方法 创建 和 管理 
规则 ， 包 括 : 决策 树 、 记 分 卡 、 决 策 表 、 公 式 构建 器 、 图 形 化 决策 流 和 用 户 模板 。Blaze Advisor 
监控 从 用 户 定义 事件 中 捕获 的 商务 性 能 。 该 系统 有 一 个 开放 的 结构 ， 能 够 容易 地 和 其 他 计算 环 
境 集成 ， 并 能 够 接收 来 自 多 种 数据 库 、XML 文档 、Java 对 象 、. NET/COM 对 象 和 COBOL copy- 
books 的 输入 。 


Fair Isaac Corporation 

901 Marquette Avenue, Suite 3200 
Minneapolis, MN 55402, USA 
电话 ; +1 (612) 758-5200 

电话 : +1 (415) 472-2211 

传真 ; +1 (612) 758 5201 


http://www.fico.com/en/Products/Pages/default.aspx 


Flex 


一 种 基于 框架 的 专家 系统 工具 包 。 支 持 带 有 继承 的 基于 框架 的 推理 、 基 于 规则 的 编程 和 数 
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据 驱 动 的 过 程 。Flex 有 类 似 英语 的 自己 的 知识 规格 语言 (KSL) 。Flex 的 主要 结构 是 用 于 组 织 对 
象 的 框架 和 带 有 槽 的 实例 ， 用 于 存放 数据 的 默认 值 和 当前 值 ， 为 槽 值 增加 功能 的 守护 程序 和 限 
制 ， 表 达 知 识 和 专门 技术 的 规则 和 联系 ， 定 义 必 要 的 过 程 的 函数 和 动作 ， 以 及 对 终端 用 户 相 交互 
的 问题 的 解答 。KSL 支持 数学 表达 式 、 布 尔 表达 式 和 条 件 表达 式 。 


Logic Programming Associates Ltd 

Studio 30, Royal Victoria Patriotic Building 

Trinity Road, London SW18 3SX, UK 

电话 : +44 (0)20 8871-2016 

传真 : +44 (0)20 8874-0449 

http://www.lpa.co.uk/flx.htm 

G2 Rule Engine Platform 

一 种 用 于 开发 和 在 线 展示 智能 系统 的 面向 对 象 的 图 形 化 环境 。 对 象 被 组 织 为 包含 多 继承 的 
层次 化 类 。 开 发 人 员 可 以 通过 图 形 化 的 表示 和 连接 对 象 来 建 模 一 个 应 用 。 专 家 知识 通过 规则 表 
示 。G2 可 以 有 效 地 实时 运行 , 事件 具有 时 间 戳 标记 。G2 可 以 在 Microsoft Windows, Red Hat 
Linux, Linux Enterprise, Sun Solaris SPARC, IBM AIX, HP - UX 和 Compaq Tru64 UNIX 上 运行 。 

Gensym Corporation 

6011 West Courtyard Drive, Suite 300 

Austin, TX 78730, USA 

电话 : +1 (512) 377-9700 

e-mail: info@gensym.com 

http://www.gensym.com 

Intellix 

一 种 结合 了 神经 网 络 和 专家 系统 技术 而 开发 的 综合 性 工具 。 这 个 工具 提供 了 一 个 不 需要 任 
何 编程 技巧 的 友好 的 用 户 环境 。 领 域 知识 由 产生 式 规 则 和 例子 来 表示 。 这 个 系统 使 用 了 神经 网 
络 中 的 模式 匹配 和 规则 解释 相 结合 的 技术 ， 它 能 够 进行 实时 学 习 。 

Intellix Denmark 

Nikolaj Plads 32, 2 

DK-1067 Copenhagen K, Denmark 

电话 : +45 3314-8100 

传真 : +45 3314-8130 

e-mail: infoGintellix.com 

http://www.intellix.com/products/designer/designer.html 

JESS 

JESS (Java Expert System Shell) 是 能 够 从 Sandia 国家 实验 室 免费 下 载 的 工具 (包括 其 完整 
的 Java 源 代 码 ) 。JESS 是 从 CLIPS (C Language Integrated Production System) 中 得 到 启发 的 ， 但 是 
却 发 展 成 了 一 个 拥有 自己 特点 的 完整 工具 。JESS 语言 与 CLIPS RA, JESS 脚本 和 CLIPS 脚本 互 
相通 用 。JESS 为 CLIPS 增加 了 许多 特性 ， 包 括 后 向 链接 以 及 操作 和 直接 推理 Java 对 象 的 能 力 。 
尽管 用 Java 实现 ， 但 是 JESS He CLIPS 的 运行 速度 要 快 。 

Sandia National Laboratories, California 

PO Box 969 

Livermore, CA 94551-0969, USA 

e-mail: ejfried@sandia.gov 

http://herzberg.ca.sandia.gov/jess 

”Vanguard knowledge Automation System 
一 款 基 于 互联 网 集成 应 用 的 综合 工具 。 它 包括 Vanguard 工作 站 、Vanguard 服务 器 、 互 联网 
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开发 插件 和 内 容 管理 系统 (CMS) 。CMS 是 一 款 供 普通 人 使 用 的 基于 互联 网 专家 系统 的 开发 工具 。 
它 使 用 可 视 化 编辑 工具 和 可 视 化 逻辑 展示 ， 帮 助 商务 人 士 通 过 互联 网 浏览 器 将 它们 的 专业 知识 
和 合作 自动 化 。Vanguard 工作 站 使 用 互联 网 开发 插件 ， 允 许 用 户 通 过 网 络 环境 控制 模型 的 样式 和 
行为 。 

Vanguard Software Corporation 

1100 Crescent Green 

Cary, NC 27518, USA 

电话 :+1 (919) 859-4101 

传真 : +1 (919) 851-9457 

e-mail: info@vanguardsw.com 


http://www.vanguardsw.com/products/knowledge-automation-system/ 

VisiRule 

一 款 通过 绘制 决策 迎 辑 来 开发 和 发 布 商务 规则 系统 的 基于 规则 的 图 形 化 工具 。 商 务 遇 辑 通 
过 一 组 图 标 和 链接 来 定义 和 表示 。 后 台 逻 辑 推理 引擎 具有 高 度 的 一 致 性 和 正确 性 。VisiRule 非常 
适用 于 构建 普通 的 合 规 系统 、 金 融 决策 支持 系统 和 验证 系统 。 它 支持 多 链接 图 。VisiRule 图 可 以 
在 Windows 环境 中 发 布 ， 或 通过 LPA 智能 服务 工具 包 内 艇 在 Java, VB, Delphi, C/C ++, . NET 
和 C# 中 ， 也 可 以 发 布 到 互联 网 。 


Logic Programming Associates Ltd 

Studio 30, Royal Victoria Patriotic Building 
Trinity Road, London SW18 3SX, UK 

电话 ，+44 (0)20 8871-2016 

传真 : +44 (0)20 8874-0449 


http://www.lpa.co.uk/ 

Visual Rules 

Visual Rules 是 基于 图 形 化 建 模 方法 。 它 在 统一 建 模 语言 (UML) 中 补充 了 适用 于 商务 人 士 
的 商务 逻辑 。 能 够 自动 产生 标准 代码 。 


Innovations 

Software Technology Corp. 

161 N. Clark Street 

Chicago, Hlinois 60601, USA 

电话 : +1 (312) 523-2176 

传真 : +1 (312) 268-6286 

e-mail: info@innovations-software.com 


http://www.innovations-software.com 

XMaster 

这 个 系统 由 两 个 基本 的 包 组 成 : X Master Developer 和 XMaster User, #  XMaster Developer, 
用 户 就 可 以 很 容易 地 通过 建立 可 能 的 假设 列表 和 证 据 项 目 列表 来 创建 知识 库 。 接 着 建立 证 据 项 
和 假设 之 间 的 关系 。XMaster 也 能 使 用 户 将 不 确定 的 或 近似 的 关系 整合 到 知识 库 中 。 它 使 用 贝 叶 


斯 推理 来 管理 不 确定 性 。 
Chris Naylor Research Limited 
14 Castle Gardens 
Scarborough, North Yorkshire 
YO11 1QU, UK 
电话 : +44 (1)723 354590 
e-mail: ChrisNaylor@ChrisNaylor.co.uk 


http://www.chrisnaylor.co.uk/ 
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XpertRule 

一 种 用 来 开发 基于 规则 的 专家 系统 的 工具 。 领 域 知识 通过 决策 树 、 例 了 于、 真 值 表 和 异常 树 来 
表示 。 决 策 树 是 表示 知识 的 主要 方法 。 例 子 将 结果 与 属性 关联 起 来 。 真 值 表 是 例子 的 延伸 ， 它 表 
示 涵 盖 了 各 种 可 能 组 合 的 例子 集 。 例 如 ， 真 值 树 和 异常 树 ，XpertRule 能 自动 生成 决策 树 。Xper- 
tRule 也 运用 了 模糊 推理 ， 能 够 集成 明确 推理 和 GA 优化 。 

XpertRule Software 

Innovation Forum, Innovation Park 

51 Frederick Road 

Salford M6 6FP, UK 

电话 : +44 (0)870 60-60-870 

传真 : +44 (0)870 60-40-156 

e-mail: info@xpertrule.com 


http://www.xpertrule.com/ 
Fuzzy logic tools ( 模糊 逻辑 工具 ) 


FLINT 

FLINT (Fuzzy Logic INferencing Toolkit) 是 一 个 通用 的 模糊 逻辑 推理 系统 ， 它 使 模糊 规则 可 
用 于 复杂 的 编程 环境 中 。FLINT 支持 模糊 变量 、 模 糊 限定 符 和 模糊 修饰 符 ( 语 言 模糊 限制 语 ) 
概念 。 它 用 简单 的 、 完 整 的 语法 来 表达 模糊 规则 。 而 且 ， 它 们 被 放 入 矩阵 中 ， 这 通常 叫做 模糊 关 
联 记 忆 (FAM), FLINT 为 在 所 有 支持 LPA 的 硬件 和 软件 平台 上 构建 模糊 专家 系统 和 制定 决策 应 
用 的 程序 员 提 供 一 个 综合 的 工具 集 。 


Logic Programming Associates Ltd 

Studio 30, Royal Victoria Patriotic Building 
Trinity Road, London SW18 3SX, UK 

电话 : +44 (0)20 8871-2016 

传真 : +44 (0)20 8874-0449 

e-mail: tech_team@Ipa.co.uk 


http://www.lpa.co.uk/fln.htm 

Fuzzy Control Manager 

Fuzzy Control Manager (FCM) 提供 了 允许 用 户 在 开发 、 调 试 和 优化 模糊 系统 时 显示 相关 数据 
的 图 形 用 户 界面 (GUI) ， 还 提供 了 可 以 单 击 规则 的 编辑 器 和 隶属 函数 的 图 形 化 编辑 器 。 它 使 用 
PE C 编译 器 中 生成 源 代 码 或 二 进 制 代码 。 

TransferTech GmbH 

Eichendorffstr. 1 

D-38110 Braunschweig, Germany 

电话 ; +49 5307-490-9160 

传真 : +49 5307-490-9161 

e-mail: info@transfertech.de 

http://www.transfertech.de/wwwe/fcm/fcme_gen.htm 

Fuzzy Query 

Fuzzy Query 是 一 个 基于 Win32 的 应 用 程序 。 它 让 用 户 使 用 强大 并 且 语 义 灵活 的 SQL 来 查询 
数据 库 ，SQL 是 从 数据 库 检索 信息 最 流行 的 方法 。 它 提供 的 信息 不 受 布尔 逻辑 的 严密 制约 。 用 户 
不 仅 能 看 见 最 符合 标准 的 选项 ， 而 且 也 能 观察 到 不 能 遗漏 的 选项 。Fuzzy Query 返回 的 每 一 个 记 
录 都 显示 按照 符合 特定 标准 的 隶属 度 来 排序 的 数据 。 
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Fuzzy Systems Solutions 

Sonalysts Inc. 

215 Parkway North 

Waterford, CT 06385, USA 

电话 : +1 (860) 526-8091 

传真 ;: +1 (860) 447-8883 

e-mail: FuzzyQuery@Sonalysts.com 


http://fuzzy.sonalysts.com/ 


FuzzyJ Toolkit 
FuzzyJ Toolkit 是 一 个 Java 类 的 集合 ， 它 提供 了 处 理 模 糊 推理 的 能 力 。 对 于 在 Java 环境 中 开 


发 模糊 逻辑 ， 它 是 非常 有 用 的 。 它 是 根据 早期 扩展 CLIPS 专家 系统 框架 得 到 Fuzzy CLIPS HAR 
而 得 到 的 。 它 可 以 单独 地 用 来 创建 模糊 规则 和 进行 推理 ， 也 可 以 和 JESS (来 自 Sandia 国家 实验 
室 的 Java 专家 系统 框架 ) 一 起 使 用 。FuzzyJ 是 可 以 免费 下 载 的 。 


Integrated Reasoning Group 

NRC institute for Information Technology 
1200 Montreal Road, Building M-50 
Ottawa, ON, Canada, K1A OR6 

电话 : +1 (613) 993-9101 

传真 : +1 (613) 952-9907 

e-mail: info@nrc-cnrc.gc.ca 


http://www.nrc-cnrc.gc.ca/eng/ibp/iit/past-projects/fuzzyj-toolkit.html 
FuzzyTECH 
FuzzyTECH 是 先进 的 用 户 模糊 逻辑 和 神经 模糊 解决 方案 的 软件 开发 工具 族 。 它 提供 了 两 个 基 


本 的 产品 : 用 于 技术 应 用 的 Editions 和 用 于 财务 与 商业 应 用 的 Business。 树 形 查 看 方式 能 让 用 户 
以 结构 化 方式 访问 正在 设计 的 模糊 逻辑 系统 的 所 有 组 件 ， 就 像 Windows Explorer 能 够 让 用 户 浏览 
他 们 的 个 人 计算 机 结构 那样 。Editor 和 Analyser 窗口 允许 以 图 形 化 的 方式 设计 模糊 系统 的 每 一 个 


组 件 。 
Inform Software Corporation INFORM GmbH 
525 West Monroe Street, Suite 2360 Pascalstrasse 23 
Chicago, IL 60661, USA D-52076 Aachen, Germany 
电话 ; +1 (312) 575-0578 电话 ; +49 2408-9456-5000 
传真 : +1 (312) 575-0581 传真 : +49 2408-9456-5001 
e-mail: office@informusa.com e-mail: hotline@inform-ac.com 
http://www.fuzzytech.com/ 
jFuzzyLogic 


用 Java 编写 的 一 款 模糊 逻辑 工具 。 它 采用 模糊 逻辑 语言 (FCL) 规范 (IEC 1131p7) 。 参 数 


优化 算法 包括 Derivate 、 梯 度 下 降 和 Jump。 隶属 函 数 可 以 使 用 连续 的 隶属 函数 (GenBell Sigmoi- 
dal, Trapetzoidal, Gaussian, PieceWiseLinear, Triangular, Cosing 和 Dsigm )、 离 散 的 隶属 函数 
(Singleton, GenericSingleton) 和 用 户 自 定义 函数 。jFuzzyLogic 可 以 免费 下 载 。 


系 、 


Pablo Cingolani 
e-mail: pcingola@users.sourceforge.net 


http://jfuzzylogic.sourceforge.net/html/index.html 

Mathematica Fuzzy Logic Package 

这 个 包 描 述 了 内 建 函 数 ， 这 些 函 数 为 定义 输入 和 输出 、 创 建 模糊 集 、 操 纵 和 合并 模糊 集 及 关 
运用 模糊 推理 函数 以 及 整合 逆 模 糊 化 路 径 提 供 了 方便 。 有 经 验 的 模糊 逻辑 设计 者 发 现 用 这 


个 包 来 研究 、 模 拟 、 测 试 和 可 视 化 非常 复杂 的 系统 是 很 简 答 的 。Fuzzy Logic 要 求 Mathematica 
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5.0 一 5.2， 能 用 于 Windows, Mac OS, Linux x86 和 san Solaris 平台 。 

Wolfram Research, Inc. 

100 Trade Center Drive 

Champaign, IL 61820-7237, USA 

电话 ，+1 (217) 398-0700 

传真 ， +1 (217) 398-0747 

http://www.wolfram.com/products/applications/fuzzylogic/ 

MATLAB Fuzzy Logic Toolbox 

具有 简单 的 单 击 界面 ， 能 引导 用 户 完成 模糊 设计 的 每 个 步骤 (从 设 定 到 诊断 )。 它 以 最 新 的 
模糊 逻辑 方法 (如 模糊 豪 类 和 自 适 应 模糊 学 习 ) 提供 了 内 髓 支持 。 工 具 箱 的 交互 式 图 形 界面 能 
让 用 户 看 到 并 精确 调整 系统 行为 。 

The MathWorks, Inc. 

3 Apple Hill Drive 

Natick, MA 01760-2098, USA 

电话 ，+1 (508) 647-7000 

传真 : +1 (508) 647-7001 

http://www.mathworks.com/products/fuzzylogic/ 

rFLASH 

rFLASH (Rigel 的 Fuzzy Logic Application Software Helper) 是 一 种 代码 生成 器 ， 它 用 MCS -51 
汇编 语言 生成 一 套子 程序 和 表 来 实现 模糊 逻辑 控制 (CFLC) 应 用 程序 。 它 生成 的 代码 可 以 在 
8051 系列 微 处 理 器 上 运行 。rFLASH 软件 包括 一 个 代码 生成 器 和 一 个 仿真 器 。 作 为 一 个 代码 生成 
器 ， 它 可 以 直接 从 一 个 高 级 控制 任务 描述 文件 (CTDF) 中 创建 FLC 代码 。 而 作为 一 个 仿真 器 ， 
它 可 以 用 给 定 的 输入 在 PC 上 产生 输出 。 这 种 仿真 器 可 以 测试 集中 输入 和 定义 好 的 术语 或 定义 好 
的 规则 。 


Rigel Corporation 

PO Box 90040 

Gainesville, FL 32607, USA 

电话 : +1 (352) 384-3766 

e-mail: techsupport@rigelcorp.com 

http://www.rigelcorp.com/flash.htm 

Right Rule 

一 个 实现 模糊 逻辑 推理 引擎 的 独立 库 。 该 库 可 以 以 C++ ZSPEIESNRA RS, A C# 模 块 实 
现 桌 面 /服务 器 端 应 用 。 模 糊 逻 辑 推理 引擎 被 设计 为 微软 . NET Micro 框架 ， 力 图 在 较 短 的 开发 周 
FHA RTE MA BE ill RABE. 

BLUEdev Ltd 

Ap. Melaxrinou 24 

Patras 26442, Greece 

电话 :; +30 2610-4546-00 

传真 : +30 2610-4546-01 

e-mail: support@bluedev.eu 


http://www.bluedev.eu/t2c/ 
Neural network tools (神经 网 络 工具 ) 


BrainMaker 
这 是 一 个 用 于 商业 和 市 场 预测 ， 股 票 、 期 货 、 商 品 的 销售 预测 、 模 式 识别 以 及 医疗 诊断 等 任 
何 用 户 需 要 专业 分 析 的 领域 的 神经 网 络 软件 。 用 户 不 需要 任何 特殊 的 编程 或 计算 机 技巧 。 
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BrainMaker 使 用 反 向 传播 算法 ， 可 以 在 Mac 和 PC 上 运行 。 
California Scientific 
4011 Seaport 
West Sacramento, CA 95691, USA 
HE: +1 (916) 372-6800 
USA toll free: 1-800-284-8112 
e-mail: sales@calsci.com 


http://www.calsci.com/BrainIndex.html 

EasyNN - plus 

EasyNN - plus 是 一 个 用 于 Microsoft Windows 的 神经 网 络 软件 系统 。 它 能 巩固 利用 导 人 的 文件 
生成 多 层 神 经 网 络 。 数 值 数据 、 文 本 或 者 图 像 可 以 用 来 创建 神经 网 络 。 神 经 网 络 可 以 被 训练 、 验 
证 和 查询 。 所 有 神经 网 络 生成 的 或 使 用 的 图 标 、 图 像 和 输入 /输出 数据 都 可 以 被 显示 出 来 。 图 像 、 
表格 和 网 络 图 表 都 会 及 时 地 更 新 ， 因 此 用 户 可 以 看 到 它们 是 怎么 工作 的 。 神 经 网 络 可 以 用 来 对 
数据 进行 分 析 、 预 报 、 预 测 、 分 类 和 时 间 序 列 投影 。 


Neural Planner Software Ltd 
18 Seymour Road 

Cheadle Hulme 

Cheshire, SK8 6LR, UK 

电话 : +44 7817-680-689 
传真 ，+44 8700-518-079 
e-mail: support@easynn.com 


http://www.easynn.com 

G2 NeurOn - line 

G2 NeruOn - line 构建 在 Gensym 的 C2 实时 规则 引擎 平台 ， 其 结合 神经 网 络 和 基于 规则 的 技 
术 来 实时 管理 变量 。 它 的 神经 网 络 模型 像 软 传感器 一 样 工作 ， 分 析 在 线 操 作 数 据 和 预测 、 估 计 重 
要 的 过 程 变量 。 神 经 网 络 可 以 分 析 历 史 数 据 和 实时 数据 。G2 NeurOn - line 在 预测 时 充分 考虑 变 
量 ， 这 些 决策 能 够 为 过 程 生 成 有 效 的 设置 。 


Gensym Corporation 

6011 West Courtyard Drive, Suite 300 

Austin, TX 78730, USA 

电话 : +1 (512) 377-9700 

e-mail: info@gensym.com 

http://www.gensym.com 

MATLAB Neural Network Toolbox 

MATLAB Neural Network Toolbox 是 MATLAB 中 一 个 完整 的 神经 网 络 工作 环境 。 它 是 一 个 模块 
化 的 、 开 放 的 、 可 扩展 的 设计 ， 对 许多 已 经 证 明 的 网 络 范例 提供 了 全 面 的 支持 ， 如 有 反 向 传播 学 
习 功 能 的 多 层 传感器 、 循 环 网 络 、 竞 争 层 和 自 组 织 映 射 等 。 这 个 工具 有 用 于 设计 和 管理 网 络 的 图 
形 化 用 户 界面 。 


The MathWorks, Inc. 

3 Apple Hill Drive 

Natick, MA 01760-2098, USA 

电话 : +1 (508) 647-7000 

传真 : +1 (508) 647-7001 
http://www.mathworks.com/products/neuralnet/ 
NeuNet Pro 


一 款 使 用 神经 网 络 实现 模式 识别 、 数 据 挖掘 、 建 模 和 预测 的 通用 软件 工具 。 它 功能 强大 、 简 
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单 易 用 ， 具 有 图 形 化 开发 环境 。NeuNet Pro 可 以 直接 从 MDB 数据 库 文件 中 读 取 数 据 ， 最 多 可 包 
含 255 个 数据 段 。 它 可 以 提供 包含 混淆 矩阵 、 散 列 图 和 时 序 图 的 综合 图 形 化 报告 。 


CorMac Technologies Inc. 

28 North Cumberland Street 
Thunder Bay, ON, Canada, P7A 4K9 
电话 : +1 (807) 345-7114 

传真 ，+1 (613) 822-5625 

e-mail: douglas@cormactech.com 


http://www.cormactech.com/ 

NeuralWorks Predict 

Neural Works Predict 是 一 个 集成 的 、 先 进 的 工具 ， 它 可 用 于 创建 、 部 署 预测 和 分 类 应 用 程序 。 
Predict 把 神经 网 络 技术 和 一 般 的 算法 、 统 计 学 和 模糊 逻辑 结合 在 一 起 ， 为 各 种 问题 自动 寻找 最 
优 或 者 接近 最 优 的 解决 方案 。Prediet 不 需要 任何 神经 网 络 方面 的 先 验 知识 。 对 于 高 级 用 户 ，Pre- 
dict 还 允许 他 们 直接 访问 所 有 关键 的 训练 和 网 络 参数 。 在 Microsoft Windows 环境 中 ，Predict 既 可 
以 作为 Microsoft Excel 插件 以 利用 Excel 的 数据 处 理 能 力 ， 也 可 以 作为 一 个 命令 行程 序 运 行 。 在 
UNIX 和 Linux 环境 中 ，Predict 作为 一 个 命令 行程 序 。 


NeuralWare 

230 East Main Street, Suite 200 
Carnegie, PA 15106-2700, USA 
电话 : +1 (412) 278-6280 

传真 ， +1 (412) 278-6289 
e-mail: info@neuralware.com 


http://www.neuralware.com/products.jsp 

NeuroCoM 

NeuroCoM (Neuro Control Manager) 是 一 个 用 于 开发 和 测试 神经 网 络 的 高 性 能 工具 。 它 是 一 
个 面向 窗口 的 图 形 化 用 户 界面 ， 它 对 于 神经 网 络 训练 及 其 分 析 都 非常 便利 。 这 个 界面 有 助 于 神 
经 网 络 体系 结构 、 传 递 函数 和 学 习 过 程 的 可 视 化 。NeuroCoM 能 够 用 C 语言 生成 源 代码 。 

TransferTech GmbH 

Eichendorffstr 1 

D-38110 Braunschweig, Germany 

电话 ; +49 (05307) 490-91-60 

传真 ， +49 (05307) 490-91-61 

电话 ，+49 (531) 890-255 

传真 ， +49 (531) 890-355 

e-mail: info@transfertech.de 


http://www.transfertech.de/wwwe/ncm/ncme_scr.htm 

NeuroModel 

NeuroModel 生成 的 模型 能 够 充分 适应 制造 业 的 需要 。 模 型 从 制造 性 数据 中 产生 ， 并 用 来 分 析 
制造 性 数据 。NeuroModel 能 够 处 理 255 个 连续 变量 ， 因 此 可 对 带 有 几 百 个 变量 复杂 的 过 程 进行 可 
视 化 和 建 模 。 


atlan-tec Systems GmbH 

CEO: Dipl.-Ing. Thomas Froese 
Hanns-Martin-Schleyer-Str. 18 a 

Haus 3/ 1. Obergeschoss 

47877 Willich-Münchheide II, Germany 
电话 : +49 2154-9248-0 

传真 ; +49 2154-9248-100 

e-mail: info@atlan-tec.com 


http://www.atlan-tec.com/neuromodel_en.htm 
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NeuroShell 2 

NeuroShell 2 有 功能 强大 的 神经 网 络 架构 ， 它 的 用 户 界 面 采用 的 是 Microsoft Windows 的 图 标 ， 
有 丰富 的 工具 和 流行 的 选项 ， 给 用 户 提 供 了 基础 的 神经 网 络 实验 环境 。 它 适用 于 从 事理 论 研 究 
的 用 户 或 者 那些 对 典型 神经 网 络 范例 (如 反 向 传播 ) 感 兴趣 的 用 户 。 对 解决 实际 问题 感 兴趣 的 
用 户 应 该 考虑 NeuroShell Predictor, NeuroShell Classifier 及 GeneHunter, 

Ward Systems Group, Inc. 

Executive Park West 

5 Hillcrest Drive 

Frederick, MD 21703, USA 

电话 : +1 (301) 662-7950 

传真 : +1 (301) 663-9920 

e-mail: sales@wardsystems.com 

http://www.wardsystems.com/neuroshell2.asp 

NeuroSolutions 

这 个 模块 将 模块 化 的 基于 图 标的 网 络 设计 界面 和 学 习 过 程 的 实现 (如 循环 反 向 传播 和 通过 
时 间 反 向 传播 ) 相 结 合 。 其 他 特征 包括 图 形 用 户 界 面 和 C ++ 源 代码 的 生成 。NeuroSolutions 有 3 
个 级 别 : Educator (面向 要 学 习 神经 网 络 的 初学 者 ) 、User (通过 许多 用 于 静态 模式 识别 应 用 的 
神经 模型 扩展 了 Educator 级 别 ) 、Consultants (为 动态 模式 识别 、 时 间 序 列 预测 和 进程 控制 提供 


增强 的 模型 ) 。 

NeuroDimension, Inc. 

3701 NW 40th Terrace, Suite 1 

Gainesville, FL 32606, USA 

电话 ，+1 (352) 377-5144 

USA toll free: 1-800-634-3327 

传真 : +1 (352) 377-9009 

e-mail: info@nd.com 

http://www.neurosolutions.com/products/ns 

STATISTICA Automated Neural Networks 

STATISTICA Automated Neural Networks (SANN) 是 一 款 市 场 上 广泛 应 用 性 能 最 好 的 神经 网 络 
产品 。 它 一 步 一 步 指导 用 户 建 立 神经 网 络 ， 包 括 数据 选择 、 标 称 值 编码 、 比 例 设 置 、 正 规 化 和 缺 
失 值 蔡 换 。SANN 能 够 集成 不 同 的 网 络 和 网 络 结构 。 它 能 够 在 Microsoft Excel 表单 中 自动 运行 神 


经 网 络 分 析 ， 或 者 在 用 户 用 C、C ++ 、C#、Java 等 语言 开发 的 应 用 中 集成 神经 网 络 过 程 。 
StatSoft, Inc. 
2300 East 14th Street 
Tulsa, OK 74104, USA 
电话 ，+1 (918) 749-1119 
{@H: +1 (918) 749-2217 
e-mail: info@statsoft.com 


http://www.statsoft.com/products/statistica-automated-neural-networks 

Trajan 6. 0 Professional 

一 款 可 被 用 于 数据 挖掘 、 推 理 、 建 模 和 预测 的 成 熟 的 神经 网 络 仿真 工具 包 。Trajan 的 一 
个 主要 特征 是 智能 问题 解决 器 ， 能 够 流水 线 式 地 处 理 整个 神经 设计 过 程 。 智 能 问题 解决 器 
能 够 完成 模型 类 型 和 复杂 度 的 选择 、 变 量 选 择 和 训练 过 程 选择 。Trajan 支持 多 层 感知 器 、 
Kohonen 网 络 、Radial 基本 函数 、 线 性 模型 、 概 率 和 一 般 化 的 回归 神经 网 络 。Trajan 算法 包 
括 反 向 传播 、Levenburg - Marquardt 和 共 斩 梯度 下 降 算 法 。 还 包括 错误 标定 、 自 动 交叉 检验 
和 一 组 停止 条 件 。 
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Trajan Software Ltd 

The Old Rectory, Low Toynton, 
Horncastle, Lincs, LN9 6JU, UK 

电话 : +44 1507 524-077 

传真 : +44 8700 515-931 

e-mail: sales@trajan-software.demon.co.uk 


http://www.trajan-software.demon.co.uk/ 
Evolutionary computation tools (进化 计算 工具 ) 


Evolutionary Optimizer 

Evolutionary Optimizer (EVO) 是 一 个 优化 系统 特性 的 基本 工具 ， 其 中 系统 特性 由 数值 参数 
确定 。 这 个 系统 提供 了 图 形 化 的 友好 的 用 户 界面 ， 它 不 需要 任何 编程 知识 。 

TransferTech GmbH 

Eichendorffstr. 1 

D-38110 Braunschweig, Germany 

Hig: +49 5307-490-9160 

传真 : +49 5307-490-9161 

e-mail: info@transfertech.de 


http://www.transfertech.de/wwwe/evo/evoe gen.htm 

Evolver 

Evolver 是 Microsoft Excel 的 一 个 优化 插件 。Evolver 使 用 遗传 算法 来 快速 地 解决 金融 、 分 配 、 
计划 安排 、 资 源 分 配 、 制 造 、 预 算 、 工 程 等 领域 内 复杂 的 优化 问题 。 事 实 上 ， 任 何 一 个 可 以 用 
Excel 建 模 的 问题 ，Evolver 都 可 以 解决 。 它 不 需要 任何 编程 或 遗传 算法 理论 方面 的 知识 ， 它 带 有 
解释 详尽 的 参考 手册 、 几 个 例子 ， 以 及 免费 的 、 无 限 的 技术 支持 。 


Palisade Corporation 

798 Cascadilla Street 

Ithaca, NY 14850, USA 

电话 : +1 (607) 277-8000 
USA/Canada toll free: 1-800-432-7475 
传真 ， +1 (607) 277-8001 


e-mail: sales@palisade.com 

http://www.palisade.com/evolver/ 

GEATbx 

GEATbx (Genetic and Evolutionary Algorithm Toolbox) 和 MATLAB 的 结合 使 用 是 进化 算法 在 
MATLAB 上 的 综合 的 实现 。 大 量 的 操作 被 完全 说 入 到 这 个 环境 中 ， 这 个 环境 构成 一 个 可 适用 于 解 
决 各 种 问题 的 功能 强大 的 优化 工具 。 


Hartmut Pohlheim 

Charlottenstr. 23, 13156 Berlin, Germany 

电话 : +49 700 7645-4346 

传真 : «49 700 7645-4346 

e-mail: support@geatbx.com 

http://www.geatbx.com/ 

GeneHunter 

它 是 解决 优化 问题 的 功能 强大 的 解决 方案 。 它 包括 一 个 Excel 插件 (该 插件 允许 用 户 在 Ex- 
cel 电子 表格 中 运行 优化 问题 ) 以 及 遗传 算法 函数 的 动态 链接 库 〈 它 可 以 从 Microsoft Visual Basic 
或 者 C 等 程序 语言 来 调用 ) 。 
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Ward Systems Group, Inc. 
Executive Park West 

5 Hillcrest Drive 

Frederick, MD 21703, USA 
电话 : +1 (301) 662-7950 

传真 : +1 (301) 663-9920 
e-mail: sales@wardsystems.com 


http://www.wardsystems.com/genehunter.asp 

GenSheet 

将 遗传 算法 实现 为 快速 用 C 编码 的 动态 链接 库 。CenSheet 支持 用 于 二 进 制 、 整 数 、 实 数 和 置 
换 表示 的 遗传 运算 ， 还 包括 用 于 限制 的 非 线性 优化 、 遗 传 分 类 器 、 工 作 时 间 安 排 和 计算 最 小 方差 
组 合 的 特殊 命令 。GenSheet 需要 使 用 Microsoft Excel 软件 。 所 有 的 GenSheet 命令 都 被 分 配 在 容易 
使 用 的 Excel 菜单 栏 中 。GenSheet 提供 了 交互 式 的 帮助 和 教程 。 

Inductive Solutions, Inc. 

380 Rector Place, Suite 4A 

New York, NY 10280, USA 

电话 : +1 (212) 945-0630 

传真 ; +1 (212) 945-0367 

e-mail: roy@inductive.com 


http://www.inductive.com/softgen.htm 

MATLAB Global Optimization Toolbox 

一 款 解决 多 目标 最 大 化 和 最 小 化 全 局 优化 问题 的 工具 包 。 可 以 通过 调整 初始 人 口 和 适应 度 
比例 或 定义 亲 代 选择 、 交 叉 和 变异 函数 来 创建 用 户 自 定义 的 遗传 算法 。 通 过 定义 投票 、 查 找 和 其 
他 函数 来 创建 用 户 自 定义 模式 搜索 方法 。 该 工具 包括 设计 和 管理 遗传 算法 提供 了 图 形 化 用 户 
接口 。 

The MathWorks, Inc. 

3 Apple Hill Drive 

Natick, MA 01760-2098, USA 

电话 ，+1 (508) 647-7000 

传真 ，+1 (508) 647-7001 


http://www.mathworks.com/products/global-optimization/ 

OptiGen Library 

OptiGen 库 是 一 个 面向 对 象 的 程序 接口 。 它 提供 单 / 多 对 象 遗 传 算法 、 增 强 的 属性 选择 算法 和 
其 他 优化 策略 〈 例 如 模拟 退火 ) 的 通用 面向 对 象 接口 。OptiGen 库 支 持 所 有 的 . NET 语言 、Visual 
Studio C ++ 和 ActiveX (COM) 语言 ， 包 括 Microsoft Office 产品 中 的 VBA, 

NeuroDimension, Inc. 

3701 NW 40th Terrace, Suite 1 

Gainesville, FL 32606, USA 

电话 : +1 (352) 377-5144 

USA toll free: 1-800-634-3327 

传真 : +1 (352) 377-9009 

e-mail: info@nd.com 

http://www.nd.com/genetic/ 

xl bit 

一 款 用 于 Microsoft Excel 的 遗传 算法 插件 。 它 不 需要 任何 编程 知识 。 系 统 运行 最 多 500 个 染 
色 体 、 多 适应 度 函 数 、 四 类 变量 (二 元 、 整 数 、 非 整数 和 排列 ) 3 种 交叉 方法 ， 并 提供 图 形 化 
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用 户 接口 。 


XLPert Enterprise 
e-mail: sales@xlpert.com 


http://www.xipert.com/ 


Data mining ( 数据 挖掘 ) 


Angoss KnowledgeSEEKER 
一 款 功 能 强大 的 数据 控 据 工具 ， 提 供 数据 剖析 、 增 强 的 数据 可 视 化 和 决策 树 功能 。 它 被 广泛 


应 用 于 市 场 、 销 售 和 风险 分 析 。KnowledgeSEEKER 能 够 接受 来 自 几 乎 所 有 数据 源 的 数据 ; 统计 文 
件 、 文 件 服务 器 和 SAS, SPSS. ODBC 等 驱动 的 数据 库 。 它 可 以 在 数据 仓库 中 进行 运算 ， 避 免 了 
数据 在 软件 间 移 动 造成 的 反应 时 间 下 降 。 


Angoss Software Corporation 
111 George Street, Suite 200 
Toronto, ON, Canada, M5A 2N4 
电话 : +1 (416) 593-1122 

传真 : +1 (416) 593-5077 


http://www.angoss.com/ 
BLIASoft Knowledge Discovery 
BLIASoft Knowledge Discovery 是 一 个 决策 支持 工具 。 它 从 数据 中 提取 模型 。 训 练 数据 可 以 是 


定量 或 定性 数据 。BLIASoft Knowledge Discovery 可 以 处 理 不 完整 、 不 确定 甚至 矛盾 数据 。 它 使 用 
简便 ， 不 需要 任何 特殊 技能 。 


BLIA Solutions 

1, rue du Pont Guilhemery 

31 000 Toulouse, France 

e-mail: support@bliasolutions.com 
http://www.bliasoft.com 

FICO Model Builder for Decision Trees 


一 款 图 形 化 开发 工具 ， 能 够 结合 人 类 的 专业 知识 进行 数据 驱动 分 析 ， 迅 速 创建 决策 树 。 用 户 


可 以 根据 性 能 测试 来 选择 能 实现 最 有 效 划分 的 变量 。 它 能 够 迅速 比较 策略 ， 无 需 额外 编写 代码 。 


Fair Isaac Corporation 

901 Marquette Avenue, Suite 3200 
Minneapolis, MN 55402, USA 
电话 : +1 (612) 758 5200 

传真 : +1 (612) 758 5201 


http://www.fico.com/en/Products/Pages/default.aspx 
IBM DB2 Data Warehouse Edition 
DB2 数据 仓库 编辑 器 (DWE) 是 一 组 商业 智能 平台 产品 集 。 用 户 可 以 构建 完整 的 数据 仓库 


解决 方案 ， 包 括 高 可 扩展 的 关系 数据 库 、 数 据 访 问 能 力 、 商 业 智能 分 析 和 前 端 分 析 工 具 。DB2 数 
据 仓 库 编辑 器 包括 如 下 产品 ;DB2 通用 数据 库 工作 组 服务 器 、DB2 Cube 视图 、DB2 智能 挖掘 器 
和 DB2 Office 连接 器 。 


IBM Corporation 

1 New Orchard Road 

Armonk, NY 10504-1722, USA 
电话 : +1 877-426-6006 

传真 : «1800-314-1092 


http:/ /www-01.ibm.com/software/data/iminer/ 
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Investigator Il 

Investigator II 为 商业 性 能 分 析 、 预 测 和 监控 提供 了 简单 易 用 的 工具 。 它 将 数据 转换 为 支持 决 
策 的 报告 和 图 表 。 它 人 允许 用 户 监控 、 报 告 和 比较 关于 产品 和 市 场 任何 方面 的 组 合 ， 并 对 过 去 、 现 
在 和 未 来 的 性 能 进行 分 析 和 预测 。Imvestigator II 支持 Bayesian 分 类 器 、 基 于 事例 的 推理 、 决 策 
Hi, C- means 聚 类 、 数 据 混合 、K means RÆ., Kohonen 聚 类 、 神 经 网 络 和 主 成 分 分 析 。 


Solutions4Planning Ltd 
Garrick House 

138 London Road 
Gloucester GL1 3PL, UK 
电话 ，+44 1276-485-711 


http://www.solutions4planning.com/investigator-2.html 

KXEN Analytic Framework 

为 分 类 、 回 归 、 属 性 重要 性 、 聚 类 、 预 测 和 购物 篮 分 析 提 供 解决 方案 。 它 发 现 个 体 集 的 自然 
组 或 行为 ， 提 供 相应 的 每 个 分 组 的 描述 ， 生 成 事物 数据 的 规则 模式 以 发 现 事件 的 关联 性 ， 使 用 时 
间 序 列 数据 预测 下 一 阶段 的 结果 来 发 现 有 意义 的 模式 和 趋势 。 不 同 于 传统 的 数据 挖掘 工具 ，KX- 


EN Analytic Framework 能 够 处 理 高 维 的 输入 属性 (超过 10000) 。 
KXEN, Inc. 
201 Mission Street, Suite 1950 
San Francisco, CA 94105-1831, USA 
电话 ; +1 (415) 904-4160 
传真 ， +1 (415) 904-9041 
e-mail: sales-us@kxen.com 


http://www.kxen.com/ 

Oracle Data Mining 

Oracle Data Mining (ODM) 是 可 用 于 Oracle 数据 库 11g 企业 版 的 收费 工具 。 它 为 用 户 提供 构 
建 和 发 布 预测 分 析 的 应 用 工具 。 应 用 可 以 使 用 SQL fil Java API 建立 ， 自 动 挖掘 Oracle 数据 并 实时 
展示 结果 。 因 为 数据 、 模 型 和 结果 都 存储 在 Oracle 数据 库 中 ， 数 据 不 用 移动 ， 安 全 性 得 到 了 最 大 
保障 ， 并 能 够 最 小 化 信息 延迟 。ODM 模型 可 以 向 入 SQL 查询 和 应 用 中 。ODM 可 以 实现 分 类 、 回 
Dt. FEAR, RE, MOWER, 


Oracle Corporation 

500 Oracle Parkway 

Redwood Shores, CA 94065, USA 

电话 : +1 (650) 506-7000 or +1 800-392-2999 
e-mail: oraclesales_us@oracle.com 


http://www.oracle.com/technology/products/bi/odm/index.html 

Partek Discovery Suite 

Partek Discovery Suite 集成 了 数据 分 析 方 法 和 可 视 化 功能 ， 帮 助 统计 研究 者 迅速 实现 模式 分 
析 和 识别 。 它 对 数据 的 行 和 列 没 有 限制 ， 因 此 能 够 很 容易 实现 分 析 、 编 辑 和 处 理 大 数据 集 。 同 时 
能 够 有 效 地 为 可 视 化 、 分 析 和 建 模 提供 数据 降 维 功能 。 l 


Partek Incorporated 

12747 Olive Blvd., Suite 205 
St. Louis, MO 63141, USA 
电话 : +1 (314) 878-2329 
传真 : +1 (314) 275-8453 
e-mail: inquire@partek.com 


http://www.partek.com/partekds 
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Portrait Customer Analytics 

一 款 简 单 易 用 的 预测 分 析 工 具 ， 通 过 增加 高 效 的 3 维 数据 可 视 化 功能 扩展 了 现 有 的 市 场 和 分 
析 环 境 。 简 单 易 用 的 接口 将 数据 转换 为 可 视 化 信息 。Portrait Customer Analytics 为 流失 /损耗 、 活 
动 响应 、 交 叉 销 售 /追加 销售 、 风 险 / 违 约 、 用 户 生 命 值 和 收益 率 提供 快速 的 自动 建 模 。 预 设 的 建 
模 技 术 包括 决策 树 、 回 归 、 记 分 卡 和 聚 类 。 


Portrait Software 

The Smith Centre 

The Fairmile 
Henley-on-Thames 

RG9 6AB, UK 

电话 : +44 1491-416-600 
传真 ，+44 1491-416-601 


http://www. portraitsoftware.com/ 

SAS Enterprise Miner 

SAS 使 用 一 组 技术 对 数据 进行 收集 、 分 类 、 分 析 和 解释 ， 实 现 对 其 中 模式 、 异 常 、 关 键 变 量 
和 关系 的 发 现 。SAS Enterprise Miner 通过 一 组 成 熟 的 预测 和 建 模 算法 ， 包 括 购 物 篮 分 析 、 决 策 
树 、 梯 度 boosting、 最 小 角 回 归 样 条 、 神 经 网 络 、 线 性 和 logistic 回归 、 部 分 最 小 平方 回归 等 。 

SAS Institute Inc. 

100 SAS Campus Drive 

Cary, NC 27513-2414, USA 

电话 ; +1 (919) 677-8000 

传真 ， +1 (919) 677-4444 


http://www.sas.com/technologies/analytics/datamining/miner/ 

TIBCO Spotfire Miner 

数据 挖掘 和 可 视 化 编程 工具 ， 实 现 从 收集 的 数据 中 发 现 模 式 、 趋 势 和 隐 含 关系 。 它 为 统计 和 
商业 分 析 提 供 简单 易 用 的 接口 。Spotfire Miner 的 可 视 化 工作 流 图 记录 应 用 的 每 一 步 ， 使 结果 易于 
理解 。Spotfire Miner 提供 数据 处 理 结 点 来 支持 数据 挖掘 过 程 的 每 一 步 ， 包 括 数据 访问 〈 文 件 、 数 
据 库 ) 、 开 发 和 转换 、 数 据 清洗 、 建 模 、logistic 回归 和 线性 回归 、 分 类 和 回归 树 、 神 经 网 络 、na- 
ive 贝 叶 斯 、K 均值 聚 类 、 主 成 分 分 析 、 关 联 规则 和 Cox 回归 、 模 型 评估 、 数 据 导出 。 

TIBCO Spotfire Main Office 

212 Eim Street 

Somerville, MA 02144, USA 

电话 ，+1 (617) 702-1600 

传真 : +1 (617) 702-1700 

e-mail: mds@tibco.com 


http://spotfire.tibco.com/products/data-mining-applications.aspx 

Vanguard Decision Tree 

Vanguard Decision Tree 是 一 组 集成 应 用 ， 包 括 Vanguard 工作 室 和 决策 树 分 析 捅 件 模块 。 帮 助 
用 户 实 现 经 典 的 决策 树 分 析 和 Markov 仿真 。 


Vanguard Software Corporation 
1100 Crescent Green 

Cary, NC 27518, USA 

电话 : +1 (919) 859-4101 

传真 ，+1 (919) 851-9457 
e-mail: info@vanguardsw.com 


http://www.vanguardsw.com/products/decision-tree-suite/ 
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Viscovery SOMine 
Viscovery SOMine 是 实现 数据 挖掘 、 可 视 化 聚 类 分 析 、 统 计 章 析 、 基 于 自 组 织 映 射 的 分 类 和 


工作 流量 环境 中 经 典 统计 方法 的 一 款 桌 面 应 用 。 它 在 1996 年 首次 发 布 ，Viseovery SOMine 成 为 基 
于 SOM 的 标准 商业 数据 挖掘 工具 。 它 为 数据 挖掘 、 类 定义 、 剖 析 和 分 段 、 统 计 功 能 《Ward X 


类 、 
化 、 


组 剖析 、 描 述 统计 ) 提供 建 模 工具 。Viscovery SOMine 使 用 标准 的 软件 ， 不 需要 特殊 的 用 户 
安装 、 硬 件 框架 和 系统 维护 。 


Viscovery Software GmbH 
Kupelwiesergasse 27 
A-1130 Vienna, Austria 
电话 : +43 1532-05-70 
传真 ，+43 1 532-05-70-33 
e-mail: inquire@partek.com 


http://www.eudaptics.co.at/ 
VisiRex 


可 视 化 规则 提取 (VisiRex) 是 一 款 进行 数据 挖 气 、 数 据 预 测 和 知识 发 现 的 通用 软件 工具 ， 


它 从 数据 库 中 发 现 有 用 的 模式 和 规则 ， 生 成 综合 的 统计 报告 ， 构 建 有 颜色 显示 的 决策 树 〈 可 调 
整数 据 前 枝 ) ， 分 割 数据 组 成 类 艇 。VisiRex 也 允许 用 户 使 用 部 分 数据 构建 预测 模型 ， 并 使 用 其 他 
数据 测试 模型 。 


CorMac Technologies Inc. 
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索引 中 的 页 码 为 英文 原 书页 码 ， 与 书 中 页 边 标注 的 页 码 一 致 。 
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normalisation layer 〈 归 一 化 层 ) 279 
rule layer (规则 层 ) , 278 -279 
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learning (学 习 ) 280 —282 
adaptive topology ( 自 适应 拓扑 )，220 
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Affenzeller, M. , 289 
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AND product (与 乘积 ) 109 
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antecedent (前 项 ) ， 参 见 mle，antecedent 
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approximate reasoning (近似 推理 ) 262 -263 
Apriori algorithm ( Apriori 算法 ) 412 -418 
Apriori principle (Apriori 原理 ) ，413 
artificial intelligence (人 工 智能 ) 2, 6, 260 
foundations (基础 ), 5 -6 
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165, 167 
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Association (369), 137 —138, 410 
association rule (关联 规则 ) , 410 -418 
confidence ( 置信 和 度 ) 411 -412 
support (支持 度 ) , 411 -412 
associative memory (关联 记忆 )，187 
associativity (关联 性 ) ，100 — 101 
attribute (属性 ) 131 
Automatic Computing Engine (自动 计算 引擎 ) 2 
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back-propagation ( Jz |n] f£ $8 ), & R back- 
propagation algorithm 

back-propagation algorithm 〈 反 向 传播 算法 )，13， 
179 —180 
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Barto, A. , 13 
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Bayes, T. , 60 

Bayesian reasoning ( 贝 叶 斯 推理 ) 61-65, 65 - 72 
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196 - 200 ` 
architecture 〔〈 结构) 196 — 197 
convergence (Sy), 200 
stability (稳定 性 ) 199 
storage capacity (存储 能 力 ) 200 
training algorithm (训练 算法 ) ，197 - 199 

binary logic (二 值 逻辑 ) 89 

bit map (位 图 ) 323 

Black, M. , 88, 125 

book-keeping facilities (记录 设备 ) 33 

Boole, G. 428 

Boolean logic (布尔 逻辑 ) 87-88 

Boyce, R. 389, 448 

Brain (大 脑 ) 2, 4, 166, 187 

Branch (分 支 ) 401 

break package (WAE), 33 

Broomhead, D. , 13 

Bryson, A. 〈 贝 叶 斯 ) 13 

Buchanan, B. 9, 19, 83 
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CH (Ce iER) 121, 253, 283 

Cantor, G. , 97 

Castillo, O 289 

CART (分 类 和 回归 树 ) , 403 

categorical data (分 类 数据 ) 330 

Central Limit Theorem (中 心 极限 定理 ) 2 

centre of gravity (重心 ), 111 -112 
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certainty factor (确信 因子 ) 10, 74 - 75, 771 -78， 
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clustering ( RÆ), 303, 332, 336 - 343 
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incomplete (不 完整 的 ) ，304 
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386 - 387 
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Deep Blue (深蓝 )，165 
defuzzification ( USE (E) , 111 -112, 273 
centroid technique (质心 技术 ) 111 
sum-product composition (Hl - 积 合成 ) 273 
defuzzification layer ( WWE), 273, 279 
degree of confidence ( 置信 和 度 ) #3 certainty factor 
degree of membership (EE), 92 
delta rule (delta 规则 ) , 172 
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FAM (模糊 关联 记忆 ) ， 参 见 fuzzy associative memory 
feature space (特征 空间 ) ，379 
feature vector (特征 向 量 ) ，379 
feedback neural network (反馈 神经 网 络 ) 188 — 189 
feedforward neural network (前 馈 神 经 网 络 ) 175 
Feigenbaum E. , 9, 10, 19 
Feller, W. , 57 
Fine, T. , 57 
firing a rule (激发 规则 ) , 31, 36, 146 


RO 引 313 


first-order Sugeno fuzzy model ( — ft Sugeno 模糊 模 
型 ) 277 
fit-vector (适应 向 量 ) , 94 
fitness (JEM HE), 221 
fitness function 《适应 性 函数 ) ，222，237 —238, 346 
Fogel, D. , 20 
forgetting factor (遗忘 因子 ) 201 - 202 386 
FORTRAN (FORTRAN 语言 ) 6, 30, 32, 245, 253 
forward chaining (前 向 链接 ) 37-38, 309 
frame (#242), 131—132, 133-138, 140 
class (25), 134 - 135 
instance (实例 ) , 134 — 135 
frame-based expert system (基于 框架 的 专家 系统 ) 134 
—137, 137-138, 138 - 142, 146, 149 -161 
fully connected neural network. 〈 全 连接 神经 网 络 ) 176 
fundamental memory 〈 基 础 记忆 ) 192 - 193 
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fuzzy reasoning (模糊 推理 ) 104 — 105 
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multiple hypotheses (多 重 假定 ) 62 
multiple inheritance (多 重 继承 ) 140 - 141 
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NP-complete problem ( NP 完全 问题 ) 8, 235 
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o 


object (对 象 ) 27, 132 
numerical (数字 ) 27 
symbolic (符号 ) 27 
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Pythagorean Theorem 〈 勾 股 定律 ) 247, 253 
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query tool (查询 工具 ) ，388 ，390 -391 


R 


reasoning (推理 ) 31 
approximate (近似 ) 262 -263 
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scaling (缩放 )，110 
scatter plot (分 散 图 ) ，369 —370, 382, 385 
schema (#30), 232 -234 
defining length (定义 长 度 ) 233 
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Sendai subway system 〈 仙 台地 铁 系 统 ) 17, 20 
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step activation function ( (TECH PRAE) , 169 
Sterling, L. , 142 
strength of belief (可 信和 度 ) 75 
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toy problem (玩具 问题 )，8 
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